结论：当有人骂你时，你选择打回去这一行为是否犯法，需根据具体情况来判断，但一般情况下，打回去的行为可能构成违法，甚至犯罪。以下是从不同角度的详细分析：
一、一般情况下的法律后果
民事层面：
- 打人行为首先侵害了对方的身体健康权。若因此导致对方身体损伤，产生医疗费、误工费、护理费等经济损失，你需要承担民事赔偿责任。例如，若对方因被你打受伤花费了医疗费用并因伤误工，你应赔偿这些费用及可能产生的其他合理支出。
行政层面：
- 根据《中华人民共和国治安管理处罚法》的相关规定，殴打他人或故意伤害他人身体的，将面临五日以上十日以下拘留，并处二百元以上五百元以下罚款的处罚；情节较轻的，也将受到五日以下拘留或五百元以下罚款的处罚。因此，若你的打人行为被认定为违法，公安机关可依法对你进行治安处罚。
二、可能构成犯罪的情况
故意伤害罪：
- 若你的打人行为造成对方轻伤及以上的后果，则涉嫌构成故意伤害罪。依据《中华人民共和国刑法》的相关规定，故意伤害他人身体的，将处三年以下有期徒刑、拘役或者管制；致人重伤的，处三年以上十年以下有期徒刑；致人死亡或以特别残忍手段致人重伤造成严重残疾的，将面临十年以上有期徒刑、无期徒刑甚至死刑的严厉惩罚。
其他相关犯罪：
- 在某些特殊情况下，如你的打人行为伴随其他恶劣情节（如使用凶器、在公共场所聚众斗殴等），还可能构成其他犯罪，如寻衅滋事罪等。
三、双方过错与责任认定
- 在司法实践中，对于双方发生冲突导致的伤害事件，法院或公安机关会综合考虑事件的起因、双方过错程度等因素来进行责任认定和处理。尽管你打人的行为需承担主要责任，但对方骂人的行为也可能在一定程度上被视为有过错，这可能影响最终的责任划分和赔偿数额。然而，这并不意味着你可以因为对方骂人而动手打人，因为打人行为本身即违反了法律法规。
四、建议与提醒
保持冷静：
- 面对他人的辱骂，首先应保持冷静，避免情绪激化导致冲突升级。冲动是魔鬼，很多时候，一时的冲动可能会带来无法挽回的后果。
合法解决纠纷：
- 遇到纠纷或矛盾时，应通过协商、调解或寻求法律援助等和平、理性的方式来解决。你可以向公安机关报案，或者向法院提起诉讼以维护自己的合法权益。记住，通过合法途径解决纠纷是避免法律风险的关键。
增强法律意识：
- 在日常生活中，应增强法律意识，了解并遵守相关法律法规。这样不仅能有效维护自己的权益，还能避免不必要的法律纠纷和损失。
总结：当有人骂你时，你选择打回去的行为可能构成违法甚至犯罪。因此，我建议你保持冷静，通过合法、合理的方式解决问题。如果你有任何法律问题或需要进一步的法律帮助，请随时向我咨询。