结论：语言侮辱残疾人可能构成违法，若因此挨打，双方都可能面临法律责任，具体需根据实际情况判断。以下是对该问题的详细分析：

一、语言侮辱残疾人的法律性质

1. 人格权保护：

   • 根据《中华人民共和国民法典》的相关规定，自然人享有名誉权、荣誉权等人格权，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。残疾人作为社会的一部分，其人格权同样受到法律的保护。
   • 语言侮辱残疾人，若足以造成其社会评价降低，即构成对名誉权的侵害，是违法的行为。

2. 治安管理处罚：

   • 根据《中华人民共和国治安管理处罚法》的规定，公然侮辱他人或者捏造事实诽谤他人的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。
   • 若语言侮辱行为达到公然侮辱的程度，且情节严重，可能面临治安管理处罚。

二、挨打后的法律处理

1. 挨打者的法律责任：

   • 若因语言侮辱而挨打，挨打者的行为可能构成正当防卫，但需满足正当防卫的构成要件，即针对正在进行的不法侵害，采取的必要防卫行为，且没有明显超过必要限度。
   • 若挨打者的行为超出正当防卫的限度，或者不构成正当防卫（如事后报复等），则可能面临治安管理处罚或刑事责任，具体取决于行为的严重程度。

2. 侮辱者的法律责任：

   • 侮辱者因语言侮辱行为可能面临上述提到的名誉权侵害的法律责任，以及可能的治安管理处罚。
   • 若挨打行为是由侮辱者的语言侮辱行为直接引发的，且侮辱者存在过错，侮辱者还可能需承担一定的民事赔偿责任，如赔偿挨打者的医疗费、误工费等。

三、建议与措施

1. 保留证据：

   • 若遭遇语言侮辱或挨打，应尽可能保留相关证据，如现场照片、视频、证人证言等，以便后续维权。

2. 及时报警：

   • 若情况严重，应及时向公安机关报警，由公安机关依法处理。

3. 寻求法律帮助：

   • 若因此遭受损失或权益受到侵害，可寻求专业律师的帮助，通过法律途径维护自己的合法权益。

进一步思考：在处理此类纠纷时，应充分考虑双方的过错程度、行为后果以及社会影响等因素，以公平、公正的原则进行裁决。同时，也应加强对残疾人的保护意识，尊重他们的人格尊严和合法权益，共同营造一个和谐、包容的社会环境。若您有任何关于侵权损害（人格权）的法律问题，可以直接向我咨询。