当对方骂人时，你骂回去是否犯法，需根据具体情况判断。一般情况下不构成违法犯罪，但在某些情况下可能构成违法行为甚至犯罪。以下是对此问题的详细分析：

1. 一般情况不构成违法犯罪

   • 在日常生活中，若双方仅发生轻微的辱骂行为，且未造成严重后果（如精神失常、名誉严重受损等），这种行为通常被视为民事纠纷或不文明行为，一般不会被认定为违法。此时，更多涉及的是道德层面的评判，双方可能因一时情绪激动而引发言语冲突。例如，在街头因小事发生口角，双方互相骂了几句，但并未造成实质性伤害或影响，这种情况下通常不会涉及法律责任。

2. 可能构成民事侵权

   • 如果辱骂行为虽未达到刑事犯罪的程度，但确实对他人造成了名誉损害或精神困扰，那么这种行为可能构成民事侵权。根据《中华人民共和国民法典》的规定，受害者有权要求侵权者赔礼道歉、赔偿损失等。例如，如果辱骂行为导致对方社会评价降低，或者造成了精神上的痛苦和困扰，受害者可以通过法律途径维护自己的权益。

3. 可能违反《治安管理处罚法》

   • 当辱骂行为达到一定程度，公然侮辱他人或捏造事实诽谤他人，且该行为影响了公共秩序和他人的正常生活时，可能违反《中华人民共和国治安管理处罚法》。根据该法规定，此类行为可处五日以下拘留或五百元以下罚款；情节较重的，可处五日以上十日以下拘留，并可并处五百元以下罚款。例如，在公共场所大声辱骂他人，引起周围人围观，扰乱了公共秩序，就可能受到治安管理处罚。

4. 可能构成犯罪

   • 如果辱骂行为情节特别严重，造成了恶劣的社会影响或严重损害了他人的名誉、身心健康等，还可能构成侮辱罪。根据《中华人民共和国刑法》的相关规定，以暴力或其他方法公然侮辱他人或捏造事实诽谤他人，情节严重的，可处三年以下有期徒刑、拘役、管制或剥夺政治权利。需要注意的是，侮辱罪一般属于告诉才处理的犯罪，但严重危害社会秩序和国家利益的除外。例如，通过互联网公然辱骂他人，造成恶劣社会影响，就可能构成侮辱罪。

建议与总结：

面对他人的辱骂，以骂还骂并非解决问题的最佳方式。在遇到此类情况时，应保持冷静，避免情绪激化。如果辱骂行为未造成严重后果，可通过沟通、调解或民事诉讼等方式解决；如果行为已触犯法律，应及时向公安机关报案或向法院提起诉讼以维护自己的合法权益。总之，通过合法、合理的途径解决矛盾是避免法律风险的关键。

如果你在生活中遇到了类似的情况，或者有任何关于侵权损害（人格权）方面的法律问题，都可以直接向我咨询，我会为你提供专业的法律建议和帮助。