结论：在一般情况下，别人打你时你打回去，这种行为可能构成殴打他人，但具体是否构成以及是否需要承担法律责任，需根据具体情况来判断。
分析说明：
正当防卫的认定：
- 根据《中华人民共和国刑法》第二十条的规定，正当防卫是指为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为。如果别人打你时，你打回去是为了制止对方的不法侵害，且没有超过必要的限度，那么你的行为可能构成正当防卫，不构成殴打他人。
- 关键点：正当防卫的认定需要满足多个条件，包括不法侵害正在进行、防卫行为针对不法侵害人、防卫行为没有超过必要限度等。如果防卫行为明显超过必要限度造成重大损害的，应当负刑事责任，但应当减轻或者免除处罚。
互殴行为的认定：
- 如果双方在打斗过程中，均存在主动攻击对方的行为，且没有一方是在制止不法侵害，那么这种行为可能被认定为互殴。在互殴的情况下，双方都可能构成殴打他人，需要承担相应的法律责任。
- 关键点：互殴行为通常涉及双方主动攻击对方，且没有一方是在进行正当防卫。在这种情况下，双方都可能面临行政处罚或刑事处罚，具体取决于打斗的严重程度和造成的后果。
法律后果：
- 如果构成殴打他人，根据《中华人民共和国治安管理处罚法》第四十三条的规定，可能会面临五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。
- 如果打斗行为造成对方轻伤或重伤，还可能构成故意伤害罪，需要承担刑事责任。
特殊场景：
- 对方先动手且情节恶劣：如果对方先动手且情节恶劣，如使用凶器、多人围攻等，你打回去的行为可能更容易被认定为正当防卫。但即便如此，也需要确保防卫行为没有超过必要限度。
- 双方力量悬殊：如果双方力量悬殊，如你面对的是多名攻击者或对方使用凶器，你打回去的行为可能更难以被认定为正当防卫，因为此时你可能需要采取更谨慎的防卫方式以避免造成不必要的伤害。
行动建议：
- 保持冷静：在面对冲突时，尽量保持冷静，避免情绪失控导致行为过激。
- 寻求帮助：如果可能的话，及时寻求周围人的帮助或报警，以便及时制止不法侵害。
- 了解法律：了解相关的法律规定和正当防卫的认定标准，以便在面临冲突时能够做出正确的判断和行为选择。
总结与启示：
在别人打你时你打回去的行为是否构成殴打他人，需根据具体情况来判断。如果构成正当防卫，则不构成殴打他人；如果构成互殴或防卫过当，则可能需要承担相应的法律责任。因此，在面对冲突时，应尽量保持冷静并寻求合法途径解决问题。如果你有任何法律问题或需要进一步的法律建议，可以直接向我咨询。