结论：当对方骂人时，你骂回去是否犯法，需根据具体情况判断。一般情况下不构成违法犯罪，但在某些情况下可能构成违法行为甚至犯罪。
详细分析：
一般情况不构成违法犯罪：
- 在日常生活中，如果双方只是进行了轻微、简短的辱骂，并未对对方的名誉、精神等方面造成实质性损害，这种行为通常不会被认定为违法。此时，它更可能被视为一般的民事纠纷或不文明行为，主要受到道德层面的谴责。例如，两个人因为小事发生口角，互相骂了几句，但并未造成严重后果，这种情况下一般不会涉及法律责任。
可能构成违法行为的情况：
- 违反《治安管理处罚法》：若辱骂行为情节较重，如使用极其污秽、恶毒的语言，在公众场合进行辱骂导致周围人围观，扰乱了公共秩序，或者对对方造成了精神伤害，依据《中华人民共和国治安管理处罚法》的相关规定，可能会受到五日以下拘留或五百元以下罚款的处罚；情节较重的，还可能面临五日以上十日以下拘留，并可并处五百元以下罚款。比如，在公共场所大声辱骂他人，引起多人围观，造成不良影响，就可能触犯该法。
- 构成民事侵权：如果辱骂行为侵害了对方的名誉权，使其社会评价降低，那么这就构成了民事侵权。根据《中华人民共和国民法典》的规定，被侵权人有权要求侵权人承担停止侵害、恢复名誉、消除影响、赔礼道歉以及赔偿损失等民事责任。例如，通过社交媒体公开辱骂他人，导致其名誉受损，就可能面临民事赔偿。
涉嫌犯罪的情况：
- 若辱骂行为情节恶劣，达到一定程度，可能涉嫌侮辱罪。根据《中华人民共和国刑法》的相关规定，以暴力或其他方法公然侮辱他人，情节严重的，可能面临三年以下有期徒刑、拘役、管制或剥夺政治权利的刑罚。需要注意的是，这类犯罪通常需要被害人告诉才处理，但严重危害社会秩序和国家利益的除外。比如，长期对某人进行辱骂，导致其精神失常或自杀等严重后果，就可能构成侮辱罪。
建议与总结：
面对他人的辱骂，我们应尽量避免以骂还骂的方式回应，因为这可能给自己带来不必要的法律风险。相反，我们应保持冷静，通过合法、合理的方式解决问题。如果辱骂行为未造成严重后果，可以尝试通过沟通、调解或民事诉讼等方式来解决纠纷；如果行为已触犯法律，应及时向公安机关报案或向法院提起诉讼以维护自己的合法权益。总之，通过合法、合理的途径解决矛盾是避免法律风险的关键。如果你在这方面有任何疑问或需要进一步的法律帮助，可以直接向我咨询。