结论：在此情境下，对方（残疾人）是否需要承担责任，取决于其具体行为是否构成违法或犯罪，以及是否存在法定的免责或减轻责任情形。挑衅者虽存在过错，但并不直接决定对方是否担责，而是可能影响责任的具体划分。
详细分析：
对方行为是否构成违法或犯罪：
- 如果对方在受到挑衅后，实施了如殴打、伤害等违法行为，且这些行为达到了法律规定的违法或犯罪标准，那么对方需要承担相应的法律责任。这包括民事赔偿责任（如赔偿医疗费、误工费等）和可能的刑事责任（如故意伤害罪）。
- 反之，如果对方并未实施违法行为，或者其行为未达到违法或犯罪的标准，则对方无需承担法律责任。
是否存在法定的免责或减轻责任情形：
- 对方作为残疾人，在法律上可能享有某些特殊的保护或待遇。例如，根据《中华人民共和国刑法》及相关司法解释，对于又聋又哑的人或者盲人犯罪，可以从轻、减轻或者免除处罚。但这一规定主要适用于刑事犯罪领域，且需具体案件具体分析。
- 在民事侵权领域，残疾人的身份本身并不直接构成免责或减轻责任的理由。然而，如果残疾人的行为能力受到限制（如精神残疾导致无法完全辨认自己的行为），则可能影响其民事责任的承担。
挑衅者的过错对责任划分的影响：
- 挑衅者明知对方是残疾人，仍故意挑衅并叫对方来打，这一行为本身存在过错。在民事侵权责任划分中，挑衅者的过错可能会被视为对方行为的一个诱因或背景因素，从而影响双方责任的具体划分。
- 在刑事案件中，挑衅者的行为也可能被视为对方犯罪的一个情节或背景，但同样不会直接决定对方是否构成犯罪或应承担何种刑事责任。刑事责任的承担主要取决于对方的具体行为及其后果。
法律建议：
- 对于挑衅者而言，应认识到自己的行为可能引发的法律后果，并避免实施此类挑衅行为。如果因挑衅行为导致对方受伤或引发其他法律纠纷，挑衅者可能需要承担相应的民事赔偿责任，甚至可能面临刑事指控（如教唆犯罪等）。
- 对于对方（残疾人）而言，如果受到挑衅并实施了违法行为，应尽快咨询专业律师以了解自己的法律权利和义务。律师可以根据具体情况提供法律建议，帮助对方正确应对法律纠纷。
- 在任何情况下，都应尊重他人的权利和尊严，避免实施任何形式的暴力或挑衅行为。如果发生纠纷或冲突，应通过合法途径解决，如协商、调解或诉讼等。
可能法律后果：
- 如果对方构成违法或犯罪，将可能面临民事赔偿、行政处罚或刑事处罚等法律后果。
- 如果挑衅者的行为被认定为教唆或协助犯罪等，挑衅者也可能面临相应的法律责任。
如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。