结论：别人打人时你打回去，通常不算正当防卫，而更可能构成互殴，但在某些特殊情况下可能构成正当防卫。下面我将从多个角度为你详细分析。

一、正当防卫的构成要件

根据《中华人民共和国刑法》第二十条的规定，正当防卫是指为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为。要构成正当防卫，必须同时满足以下条件：

1. 存在现实的不法侵害：这种不法侵害必须是现实存在的，且具有紧迫性、攻击性，可能对人身安全等造成现实危害。例如，暴力袭击、行凶、杀人、抢劫、强奸、绑架等严重危及人身安全的暴力犯罪。
2. 不法侵害正在进行：防卫行为必须在不法侵害进行的过程中实施，如果侵害已经结束或者尚未开始，那么防卫行为就不具有正当性。
3. 目的是防卫：防卫行为必须是为了保护合法权益而进行，不能是为了报复或者故意挑衅。
4. 针对不法侵害人：防卫行为只能针对实施不法侵害的人，不能对无辜的第三人进行防卫。
5. 限度适当：防卫行为必须在必要限度内进行，如果明显超过必要限度造成重大损害，就属于防卫过当，应当负刑事责任。

二、别人打人时你打回去为何通常不算正当防卫

1. 时间上的滞后性：正当防卫要求在不法侵害“正在进行”时实施。若对方停止攻击后，你再反击，此时不法侵害已结束，你的行为不再符合正当防卫的时间条件。例如，甲打了乙一拳后停手，乙随即回击，乙的行为就不属于正当防卫。
2. 缺乏防卫意图：若反击是出于报复或泄愤，而非保护自身权益，则不具备防卫意识。例如，甲辱骂并打了乙后离开，乙追上殴打甲，乙的行为就属于事后报复，不构成正当防卫。
3. 行为性质的变化：在对方停止攻击后继续反击，可能演变为斗殴或故意伤害。例如，双方因口角扭打，分开后一方再次动手，就可能被认定为互殴。

三、特殊情况下的认定

1. 持续性侵害：若不法侵害持续或反复发生（如连续殴打），在侵害未完全终止前反击，仍可能构成正当防卫。
2. 证据与情境判断：具体是否构成正当防卫，需结合现场情况、证据及行为人主观意图综合判定。例如，如果对方虽然停止了明显的攻击行为，但仍然保持攻击姿态或言语威胁，使你感到自身安全仍然受到威胁，此时你采取的反击行为可能被认定为正当防卫。

四、法律后果对比

1. 正当防卫：依法不负刑事责任。
2. 互殴或故意伤害：可能面临治安管理处罚或刑事追责。如果因互殴或故意伤害造成对方轻伤以上后果的，可能涉嫌“故意伤害罪”，需要承担相应的刑事责任。即使未造成严重后果，也可能面临治安管理处罚或其他民事责任。

五、建议

在面对别人打人的情况时，建议你保持冷静和理智，避免采取暴力反击的方式。你可以通过合法途径维护自身权益，如立即报警、向周围人求助或者通过民事诉讼要求对方承担侵权责任等。这些方式不仅更为有效，而且能够避免不必要的法律风险和后果。

如果你有任何具体的法律问题或需要进一步的法律帮助，请随时向我咨询。