结论前置：在您描述的情况下，您打回去的行为是否犯法，需根据具体情况判断，可能构成正当防卫、防卫过当或互殴，进而承担不同的法律责任。

1. 正当防卫的情况

正当防卫是指为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为。若您打回去的行为满足以下条件，则可能构成正当防卫，不违法：

• 存在不法侵害：即有人正在对您对象进行殴打，这种殴打行为是非法的。
• 不法侵害正在进行：殴打行为已经开始且尚未结束，此时您打回去才可能被认定为正当防卫。
• 目的是防卫：您打回去的目的是为了制止对方对您对象的不法侵害，保护您对象的人身安全，而非报复或其他非法目的。
• 限度适当：您打回去的行为强度应与对方殴打行为的强度基本相当，不能明显超过必要限度造成重大损害。

2. 防卫过当的情况

若您打回去的行为虽然具有防卫意图，但超出了制止不法侵害所必需的限度，造成了不应有的重大损害，就可能构成防卫过当。防卫过当需承担相应的法律责任，但在量刑时会考虑减轻或免除处罚。例如，若对方只是轻微推搡，而您却使用凶器或过度用力导致对方重伤或死亡，就可能构成防卫过当。

3. 互殴的情况

如果双方在冲突中都有伤害对方的故意，并非基于防卫目的，而是互相攻击，这种情况一般会被认定为互殴。互殴是违法的，双方都要为自己的伤害行为承担相应的法律责任，包括治安管理处罚（如罚款、拘留）以及可能的刑事责任（如故意伤害罪）。例如，若您在对方停止殴打后，仍继续攻击对方，或者双方事先有约架等行为，就可能构成互殴。

实际操作建议：

• 保持冷静：在面对他人攻击时，保持冷静是非常重要的。情绪失控可能导致您做出不理智的行为，进而陷入不必要的法律纠纷。
• 及时报警：最稳妥的做法是及时报警，让法律来维护您和您对象的权益。警方会依法处理殴打行为，保护您和您对象的安全。
• 避免暴力反击：尽量避免采取暴力反击的方式，以免因判断失误或情绪失控而陷入不必要的法律纠纷。如果确实需要自卫，也应确保自己的行为符合正当防卫的条件，避免过度使用暴力。

法律后果提示：

• 若构成正当防卫，您无需承担法律责任。
• 若构成防卫过当，您需承担相应的法律责任，但量刑时会考虑减轻或免除处罚。
• 若构成互殴，您和对方都要为自己的伤害行为承担相应的法律责任。

综上所述，您打回去的行为是否犯法需根据具体情况判断。在遭遇攻击时，应保持冷静，理性应对，并寻求法律的帮助和保护。如果您有任何法律问题或需要进一步的法律建议，请直接向我咨询。