当对方骂你，你又骂回去时，是否违法需根据具体情况判断。一般情况下，这种行为可能不构成违法犯罪，但在某些特定情况下，可能会构成违法行为甚至犯罪。以下是对这一问题的详细分析：

1. 一般情况不构成违法犯罪：

   • 如果双方的辱骂行为情节轻微，未造成严重后果，如公众秩序混乱、名誉损害等，通常视为民事纠纷或道德问题，不构成违法犯罪。例如，日常生活中的小口角，很快平息且无不良影响。

2. 可能构成违法行为的情况：

   • 违反《治安管理处罚法》：若辱骂行为情节较重，如使用极其污秽、恶毒的语言，在公众场合进行辱骂导致周围人围观，扰乱了公共秩序，或者对对方造成了精神伤害，依据《中华人民共和国治安管理处罚法》的相关规定，可能会受到五日以下拘留或五百元以下罚款的处罚；情节较重的，还可能面临五日以上十日以下拘留，并可并处五百元以下罚款。
   • 构成民事侵权：如果辱骂行为侵害了对方的名誉权，使其社会评价降低，那么这就构成了民事侵权。根据《中华人民共和国民法典》的规定，被侵权人有权要求侵权人承担停止侵害、恢复名誉、消除影响、赔礼道歉以及赔偿损失等民事责任。

3. 涉嫌犯罪的情况：

   • 若辱骂行为情节恶劣，达到一定程度，可能涉嫌侮辱罪。根据《中华人民共和国刑法》的相关规定，以暴力或其他方法公然侮辱他人，情节严重的，可能面临三年以下有期徒刑、拘役、管制或剥夺政治权利的刑罚。需要注意的是，这类犯罪通常需要被害人告诉才处理，但严重危害社会秩序和国家利益的除外。

建议与指导：

• 保持冷静：面对辱骂时，务必保持冷静，避免情绪化回应。以骂还骂不仅可能使矛盾升级，还可能使自己陷入法律风险。
• 合法维权：若遭受辱骂或骚扰，应选择报警或寻求法律援助，通过合法途径维护自身权益。例如，可以保留辱骂的证据（如录音、录像等），并向公安机关报案或向法院提起诉讼。
• 避免法律风险：通过合法方式解决纠纷，不仅保护自身权益，还能有效避免不必要的法律风险和后果。

综上所述，当面对他人的辱骂时，“骂回去”并非明智之举。建议保持冷静，通过合法途径维护自身合法权益。如有任何法律问题或需要进一步的法律建议，请直接向我咨询。