结论：当对方辱骂你时，你选择“打回去”这一行为，在法律上通常是不被允许的，可能构成违法甚至犯罪，需要承担相应的法律责任。不过，具体是否违法或犯罪，还需根据打人的情节和后果来判定。

详细分析：

1. 辱骂与打人的法律性质差异：

   • 辱骂他人，虽然可能侵犯了他人的名誉权，但一般属于民事纠纷范畴，可以通过道歉、赔偿等民事方式解决。
   • 打人则不同，它直接侵犯了他人的身体权或健康权，这是更为严重的侵权行为，可能构成违法甚至犯罪。

2. 打人可能面临的法律后果：

   • 情节较轻：如果打人行为导致对方轻微伤，一般属于违反治安管理的行为。根据《中华人民共和国治安管理处罚法》的相关规定，可能会处五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。
   • 情节较重：如果打人行为致使对方轻伤及以上后果，则涉嫌构成故意伤害罪。根据《中华人民共和国刑法》的相关规定，故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制。致人重伤的，处三年以上十年以下有期徒刑；致人死亡或者以特别残忍手段致人重伤造成严重残疾的，处十年以上有期徒刑、无期徒刑或者死刑。

3. 合法维权途径：

   • 面对他人的辱骂，应当保持冷静和理智，通过合法途径来维护自己的权益。
   • 可以要求对方停止侵害、赔礼道歉，这是最直接且和平的解决方式。
   • 如果对方拒不停止侵害，可以寻求相关部门（如公安机关、调解机构等）的帮助，他们可以介入调解，制止侵权行为，并依法对侵权者进行处理。
   • 如果情况严重，还可以直接报警处理，让法律来保护自己的合法权益。

总结与建议：

无论在任何情况下，动手打人都是不可取的行为。它不仅可能给自己带来法律风险，还可能对他人造成不可挽回的伤害。面对他人的辱骂，我们应该保持冷静和理智，通过合法途径来维护自己的权益。如果辱骂行为未造成严重后果，可以通过沟通、调解或民事诉讼等方式解决；如果行为已触犯法律，应及时向公安机关报案或向法院提起诉讼以维护自己的合法权益。

如果你在面对类似情况时感到困惑或无助，可以直接向我咨询，我会根据你的具体情况提供专业的法律建议。