结论前置：当对方辱骂你时，你骂回去是否犯法，需根据具体情况来判断。一般情况下，轻微的辱骂行为不构成违法犯罪，但在某些情况下可能构成违法行为，甚至犯罪。
详细分析：
一般情况不构成违法犯罪：
- 在日常生活中，如果双方只是发生了轻微、简短的辱骂，并未对对方的名誉、精神等方面造成实质性损害，这种行为通常不会被认定为违法。它更多被视为一般的民事纠纷或不文明行为，主要受到道德层面的谴责。
可能构成违法行为的情况：
- 违反《治安管理处罚法》：若辱骂行为情节较重，如在公众场合使用极其污秽、恶毒的语言进行辱骂，导致周围人围观，扰乱了公共秩序，或者对对方造成了精神伤害，那么这种行为可能违反《中华人民共和国治安管理处罚法》。根据该法，可能会受到五日以下拘留或五百元以下罚款的处罚；情节较重的，还可能面临五日以上十日以下拘留，并可并处五百元以下罚款。
- 构成民事侵权：如果辱骂行为侵害了对方的名誉权，使其社会评价降低，那么这就构成了民事侵权。受害者有权要求侵权者承担停止侵害、恢复名誉、消除影响、赔礼道歉以及赔偿损失等民事责任。
涉嫌犯罪的情况：
- 若辱骂行为情节特别恶劣，达到了一定程度，可能涉嫌侮辱罪。根据《中华人民共和国刑法》的相关规定，以暴力或其他方法公然侮辱他人，情节严重的，可能面临三年以下有期徒刑、拘役、管制或剥夺政治权利的刑罚。需要注意的是，这类犯罪通常需要被害人告诉才处理，但严重危害社会秩序和国家利益的除外。
总结与建议：
面对他人的辱骂，我们应尽量保持冷静，避免以骂还骂的方式回应，因为这可能给自己带来不必要的法律风险。相反，我们应通过合法、合理的方式解决问题，如寻求法律援助、报警或采取其他适当的民事救济措施。如果辱骂行为已经发生，且对你造成了不良影响，你可以考虑采取以下措施：
- 如果行为未构成犯罪，但对你造成了名誉损害或精神困扰，你可以要求对方赔礼道歉、赔偿损失等，或者通过民事诉讼来维护自己的权益。
- 如果行为已经触犯法律，你应及时向公安机关报案，由公安机关进行调查处理。
总之，通过合法、合理的途径解决矛盾是避免法律风险的关键。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。