结论前置：别人打你，你打回去是否算正当防卫，需根据具体情况判断。若反击行为符合正当防卫的构成要件，且未超过必要限度，则构成正当防卫；反之，则可能不构成正当防卫，甚至可能承担法律责任。
详细分析：
正当防卫的构成要件：
- 存在不法侵害：这是正当防卫的前提。例如，对方无故对你进行推搡、拳打脚踢等暴力攻击行为，即构成不法侵害。
- 不法侵害正在进行：你的反击行为必须是在对方的不法侵害正在进行时进行的。如果对方的侵害行为已经结束，你再进行反击，则不构成正当防卫。
- 防卫目的正当：你反击的主观目的必须是为了保护自己的人身安全或抵御对方的不法侵害，而非出于故意伤害对方的恶意。
- 防卫限度适当：你的反击行为不能明显超过必要限度，造成重大损害。具体来说，你的反击力度和方式应与对方的侵害程度基本相当。
可能构成正当防卫的情况：
- 如果对方打了你后，继续实施更严重的暴力侵害行为，如掏出刀具挥舞、试图进一步伤害你等，此时你为了保护自己的人身安全而出手反击，且反击行为符合正当防卫的构成要件，则有可能被认定为正当防卫。
可能不构成正当防卫的情况：
- 防卫不适时：如果对方的侵害行为已经结束，你再进行反击，就不属于正当防卫。例如，对方打了你一巴掌后离开，你随后追上去打回去，这种情况就不构成正当防卫。
- 防卫挑拨：如果你为了伤害对方，故意挑衅对方先动手，然后再以“正当防卫”为借口进行反击，这种情况也不构成正当防卫。
- 防卫过当：如果你的反击行为明显超过了必要限度，造成了重大损害，那么即使你的初衷是为了防卫，也可能被认定为防卫过当，从而需要承担相应的法律责任。例如，对方只是轻轻推了你一下，你却用凶器将其打成重伤或死亡，这显然超过了必要限度。
实际操作建议：
- 在面对此类情况时，建议你首先保持冷静，尽量避免冲突升级。如果条件允许，应及时报警并寻求警方的帮助。
- 若确实需要自卫，应确保防卫行为符合正当防卫的构成要件，并尽量控制防卫手段的强度和范围，避免造成不必要的伤害。
- 在事后，如果你认为自己的行为可能涉及正当防卫或防卫过当等问题，可以直接向我咨询，我会根据你的具体情况提供专业的法律意见和帮助。
法律依据：
- 根据《中华人民共和国刑法》第二十条的规定：“为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为，对不法侵害人造成损害的，属于正当防卫，不负刑事责任。正当防卫明显超过必要限度造成重大损害的，应当负刑事责任，但是应当减轻或者免除处罚。对正在进行行凶、杀人、抢劫、强奸、绑架以及其他严重危及人身安全的暴力犯罪，采取防卫行为，造成不法侵害人伤亡的，不属于防卫过当，不负刑事责任。”
综上所述，别人打你时你打回去是否算正当防卫，需根据具体情况判断。在遇到类似情况时，请务必保持冷静、理性应对，并尽量在法律框架内维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。