结论：在别人要打你时，你打回去是否犯法，需根据具体情况判断，可能构成正当防卫，也可能构成防卫过当或互殴等违法行为。
分析如下：
正当防卫：
- 法律背景：根据《中华人民共和国刑法》第二十条的规定，为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为，对不法侵害人造成损害的，属于正当防卫，不负刑事责任。
- 应用情况：如果别人正在对你实施暴力攻击，你为了保护自己的人身安全而采取的防卫行为，且防卫行为没有超过必要限度，那么你的行为可能构成正当防卫，不犯法。
防卫过当：
- 法律背景：同样根据《中华人民共和国刑法》第二十条，正当防卫明显超过必要限度造成重大损害的，应当负刑事责任，但是应当减轻或者免除处罚。
- 应用情况：如果别人的攻击行为并不严重，或者你已经成功制止了攻击行为，但你仍然继续攻击对方，导致对方受到严重伤害，那么你的行为可能构成防卫过当，需要承担相应的法律责任。
互殴：
- 法律背景：互殴通常指的是双方都出于攻击目的而进行的打斗行为。在互殴中，双方都可能构成违法行为，需要承担相应的法律责任。
- 应用情况：如果别人要打你，但你并没有处于防卫状态，而是主动攻击对方，或者双方在打斗过程中都表现出攻击性，那么你的行为可能构成互殴，需要承担法律责任。
法律建议：
- 在面对别人要打你的情况时，首先应尽量保持冷静，避免情绪激动导致行为失控。
- 如果可能的话，尽量通过沟通、协商等方式解决问题，避免暴力冲突的发生。
- 如果确实无法避免暴力冲突，且对方的攻击行为正在进行中，你可以采取必要的防卫措施保护自己。但防卫行为应适度，避免超过必要限度。
- 在防卫过程中，如果可能的话，尽量保留相关证据（如现场照片、视频、证人证言等），以便在后续的法律程序中证明自己的行为是正当的。
可能后果：
- 如果你的行为构成正当防卫，那么你将不负刑事责任。
- 如果你的行为构成防卫过当或互殴等违法行为，那么你可能需要承担刑事责任或民事赔偿责任，具体取决于行为的严重程度和造成的后果。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。