别人打你时你打回去，不一定构成正当防卫，需根据具体情况判断。以下从不同角度为你详细分析：

正当防卫的构成要件

正当防卫是指为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为。其构成要件包括：

1. 存在不法侵害：必须有现实的不法侵害行为存在，比如对方对你实施了无故的推搡、拳打脚踢等暴力攻击行为。
2. 不法侵害正在进行：防卫行为必须是在不法侵害正在进行时实施的。如果对方的侵害行为已经结束，你再进行反击，则不构成正当防卫。
3. 防卫目的正当：防卫行为必须是为了制止不法侵害、保护自己的合法权益，而非出于故意伤害对方的恶意。
4. 防卫限度适当：防卫行为不能明显超过必要限度造成重大损害。即你的反击力度和方式应与对方的侵害程度基本相当。

可能构成正当防卫的情况

• 对方持续实施暴力侵害：若对方打了你一巴掌后，继续实施更严重的暴力侵害行为，如掏出刀具挥舞、试图进一步伤害你等，此时你为了保护自己的人身安全而出手反击，有可能被认定为正当防卫。因为此时不法侵害仍在进行，且你的反击行为符合正当防卫的构成要件。

不构成正当防卫的情况

1. 防卫不适时：如果对方的侵害行为已经结束，你立即打回去，通常不被认定为正当防卫。因为此时的不法侵害已经停止，你的反击行为不符合正当防卫的时间条件。这种情况下，双方的互殴行为可能都违反了治安管理规定。
2. 防卫挑拨：如果你为了伤害对方，故意挑衅对方先动手，然后再以“正当防卫”为借口进行反击，这种情况也不构成正当防卫。因为你的行为具有主动性和攻击性，而非防御性。
3. 防卫过当：如果你的反击行为明显超过了必要限度，造成了重大损害，那么即使你的初衷是为了防卫，也可能被认定为防卫过当。例如，对方只是轻微推搡，而你使用凶器将其打成重伤或死亡，这显然超过了必要限度。

法律建议

• 保持冷静，理性应对：在遇到类似情况时，建议首先保持冷静，尽量避免冲突升级。如果条件允许，可以选择报警、躲避或采取其他非暴力的方式来制止不法侵害。
• 及时收集证据：如果不幸遭遇了这种情况，在后续处理过程中，要准确收集和保存相关证据，如现场照片、视频、目击证人证言等，这对于维护自身权益至关重要。
• 寻求法律帮助：如果认为自己受到了不法侵害，应尽快寻求法律帮助。你可以直接向我咨询，我会根据你的具体情况，为你提供专业的法律建议。

总结来说，别人打你时你打回去是否构成正当防卫，需要根据当时的具体情况来判断。只有同时满足正当防卫的四个构成要件，并且没有构成防卫不适时、防卫挑拨或防卫过当的情况下，才能被认定为正当防卫。因此，在实际操作中，我们应谨慎行事，确保自己的行为符合法律法规的要求。如果你有任何法律问题，都可以直接向我咨询。