结论：当别人骂你时，你打回去是否犯法，需根据具体情况判断。一般情况下，以打回去的方式回应辱骂可能构成违法行为甚至犯罪，但具体还需结合辱骂和反击行为的情节、后果等因素综合分析。以下是对此问题的详细分析：

一、可能构成违法行为的情况

1. 违反《治安管理处罚法》：

   • 若你打回去的行为情节较轻，如只是轻微的推搡或击打，未造成对方身体损伤或损伤较轻，但属于在公众场合进行，扰乱了公共秩序，依据《中华人民共和国治安管理处罚法》的相关规定，可能会受到五日以下拘留或五百元以下罚款的处罚；情节较重的，还可能面临五日以上十日以下拘留，并可并处五百元以下罚款。

2. 构成民事侵权：

   • 如果你的反击行为对对方造成了身体损伤，即使这种损伤并不严重，但对方可以要求你承担民事赔偿责任，包括医疗费、误工费等合理支出。

二、可能构成犯罪的情况

1. 涉嫌故意伤害罪：

   • 若你打回去的行为造成对方轻伤及以上的后果，如骨折、内脏损伤等，则可能涉嫌构成故意伤害罪。根据《中华人民共和国刑法》的相关规定，故意伤害他人身体的，将处三年以下有期徒刑、拘役或者管制；致人重伤的，处三年以上十年以下有期徒刑；致人死亡或以特别残忍手段致人重伤造成严重残疾的，将面临十年以上有期徒刑、无期徒刑甚至死刑的严厉惩罚。

2. 涉嫌寻衅滋事罪：

   • 在某些情况下，如果你的反击行为不仅针对辱骂者个人，还涉及对其他无辜人员的攻击或破坏公共秩序，可能涉嫌构成寻衅滋事罪。这同样会根据具体情节受到相应的刑事处罚。

三、建议与总结

1. 保持冷静：

   • 面对他人的辱骂，我们应尽量保持冷静，避免情绪激化导致冲突升级。以打回去的方式回应辱骂，往往会使自己陷入不必要的法律风险之中。

2. 合法维权：

   • 如果辱骂行为确实对你造成了损害，你可以通过合法途径来维护自己的权益。例如，可以向公安机关报案，要求对辱骂者进行治安处罚；如果辱骂行为构成民事侵权，你还可以向法院提起诉讼，要求对方承担民事赔偿责任。

3. 增强法律意识：

   • 在日常生活中，我们应增强法律意识，了解自己的权利和义务。在面对冲突和纠纷时，能够运用法律知识来保护自己，避免采取过激或违法的行为。

总结来说，当别人骂你时，你打回去的行为可能构成违法行为甚至犯罪，具体取决于行为的情节和后果。因此，我建议你保持冷静，通过合法途径来维护自己的权益。如果你有任何法律问题或需要进一步的法律帮助，请随时向我咨询。