针对您提出的“对方诽谤家人，骂回去是否犯法”的问题，需根据具体情况来判断，以下从不同角度进行分析：

1. 一般情况不构成违法犯罪

   • 在日常生活中，若双方仅因情绪激动而发生轻微的辱骂行为，且未造成严重后果（如精神失常、名誉严重受损等），这种行为通常被视为民事纠纷或不文明行为，一般不会被认定为违法犯罪。此时，更多涉及的是道德层面的评判，双方可能因一时冲动而引发言语冲突。但尽管不涉及法律责任，仍建议双方保持冷静，通过沟通或调解来解决矛盾，避免矛盾进一步升级。

2. 可能构成民事侵权

   • 如果辱骂行为虽未达到刑事犯罪的程度，但确实对他人（包括家人）造成了名誉损害或精神困扰，那么这种行为可能构成民事侵权。根据《中华人民共和国民法典》的相关规定，公开侮辱他人已侵犯公民的名誉权，需承担相应的民事责任，包括停止侵害、赔礼道歉、赔偿损失等。在此情况下，您或您的家人有权要求侵权者承担相应的民事责任。

3. 可能违反《治安管理处罚法》

   • 当辱骂行为达到一定程度，如公然侮辱他人或捏造事实诽谤他人，且该行为影响了公共秩序和他人的正常生活时，可能违反《中华人民共和国治安管理处罚法》。根据该法规定，此类行为可处五日以下拘留或五百元以下罚款；情节较重的，可处五日以上十日以下拘留，并可并处五百元以下罚款。这里的“公然”侮辱，指的是当众或使用能使多人听到或看到的方式对他人进行侮辱。因此，如果骂回去的行为也达到了公然侮辱的程度，同样可能面临行政处罚。

4. 可能构成犯罪

   • 如果辱骂行为情节特别严重，造成了恶劣的社会影响或严重损害了他人的名誉、身心健康等，还可能构成侮辱罪。根据《中华人民共和国刑法》的相关规定，以暴力或其他方法公然侮辱他人或捏造事实诽谤他人，情节严重的，可处三年以下有期徒刑、拘役、管制或剥夺政治权利。需要注意的是，侮辱罪一般属于告诉才处理的犯罪，但严重危害社会秩序和国家利益的除外。因此，在极端情况下，骂回去的行为如果情节严重，也可能构成犯罪。

建议与总结：

• 面对他人的诽谤或辱骂，以骂还骂并非解决问题的最佳方式。在遇到此类情况时，应保持冷静，避免情绪激化，导致矛盾进一步升级。
• 如果辱骂行为未造成严重后果，可通过沟通、调解或民事诉讼等方式解决；如果行为已触犯法律，应及时向公安机关报案或向法院提起诉讼以维护自己的合法权益。
• 总之，通过合法、合理的途径解决矛盾是避免法律风险的关键。如果您或您的家人遇到此类问题，建议咨询专业律师以获取更具体的法律建议。

法律依据：

• 《中华人民共和国民法典》第一千零二十四条：民事主体享有名誉权。任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。
• 《中华人民共和国治安管理处罚法》第四十二条：有下列行为之一的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款：（二）公然侮辱他人或者捏造事实诽谤他人的。
• 《中华人民共和国刑法》第二百四十六条：以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。