结论：别人辱骂你母亲可能构成违法，但具体是否违法及违法程度需视情况而定；你回骂并与其发生肢体冲突，也可能涉及违法问题。

详细分析：

1. 关于辱骂行为的违法性：

   • 法律依据：根据《中华人民共和国治安管理处罚法》第四十二条的规定，公然侮辱他人或者捏造事实诽谤他人的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。若辱骂行为情节严重，还可能构成侮辱罪，依据《中华人民共和国刑法》第二百四十六条，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。
   • 具体分析：如果别人辱骂你母亲，且该辱骂行为是公然的，即在不特定多数人面前进行，或者通过其他方式使不特定多数人能够知晓，那么该行为就可能构成违法。如果辱骂行为情节较轻，可能受到治安管理处罚；如果情节严重，则可能构成犯罪。

2. 关于你回骂并与其发生肢体冲突的违法性：

   • 法律依据：根据《中华人民共和国治安管理处罚法》第四十三条的规定，殴打他人的，或者故意伤害他人身体的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。若造成轻伤及以上后果，还可能构成故意伤害罪，依据《中华人民共和国刑法》第二百三十四条，处三年以下有期徒刑、拘役或者管制。
   • 具体分析：你回骂并与其发生肢体冲突，如果冲突中你有殴打或故意伤害对方的行为，那么你就可能构成违法。即使对方先辱骂你母亲，你也不能采取暴力手段进行报复，而应该通过合法途径解决纠纷，如报警、寻求法律援助等。

建议：

• 保持冷静：在面对辱骂等挑衅行为时，首先要保持冷静，不要轻易被情绪左右，避免采取过激行为。
• 合法维权：如果认为自己的权益受到侵害，可以通过合法途径进行维权，如向公安机关报案、寻求法律援助等。
• 避免冲突升级：在冲突发生时，要尽量避免冲突升级，不要采取暴力手段进行报复，以免给自己和他人带来不必要的伤害和法律后果。

后续行动：

• 如果你或你母亲已经受到了辱骂或暴力行为的侵害，建议立即报警，并保留好相关证据，如录音、录像、证人证言等，以便后续维权。
• 如果你因为回骂或肢体冲突而面临法律后果，建议尽快咨询专业律师，了解自己的权利和义务，以及可能的法律后果和应对策略。

希望以上分析能对你有所帮助，如果你有任何其他法律问题，可以直接向我咨询。