1. 核心结论：打架时对方先动手你还手，是否要受惩罚不能一概而论，需根据事件的起因、经过、双方行为方式及后果等多方面因素综合判断，可能面临民事、行政或刑事责任。

2. 民事责任角度

   • 责任认定与赔偿范围：无论谁先动手，只要给对方造成了人身伤害，动手方都应承担民事赔偿责任。赔偿通常涵盖医疗费、误工费、护理费、交通费、住宿费、住院伙食补助费、必要的营养费等。若造成残疾或死亡，还需赔偿相应的残疾赔偿金、残疾辅助器具费、丧葬费、死亡赔偿金等。例如，对方先动手打你，导致你受伤住院，花费了医疗费、护理费等费用，对方需承担这些合理费用。
   • 特殊情况：如果还手行为被认定为正当防卫，即针对正在实施不法侵害的人所采取的制止行为，且未超过必要限度，那么对于因正当防卫造成的损害，防卫人不承担民事赔偿责任。

3. 行政责任角度

   • 正当防卫情形：若还手行为被认定为正当防卫，即针对正在实施的不法侵害采取的制止行为，且未超过必要限度，则不负行政责任。比如对方持凶器攻击你，你为了保护自己的人身安全，采取了合理的反击行为，且没有过度伤害对方，这种情况下可能不承担行政责任。
   • 防卫过当与互殴情形：若还手行为明显超过必要限度造成重大损害，属于防卫过当；或司法机关不认为还手属于正当防卫，而认定双方为互殴行为，则将依据《治安管理处罚法》进行处罚。一般可能面临五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较重的，如结伙殴打、伤害他人，殴打、伤害残疾人、孕妇、不满十四周岁的人或者六十周岁以上的人，多次殴打、伤害他人或者一次殴打、伤害多人等，处罚更重，可能处十日以上十五日以下拘留，并处五百元以上一千元以下罚款。

4. 刑事责任角度

   • 正当防卫情形：符合正当防卫条件，如面对严重危及人身安全的暴力犯罪采取防卫行为，且不属于防卫过当，则不负刑事责任。例如，对方持刀对你进行致命攻击，你为了保护自己的生命，采取了必要的反击行为，将对方打伤，这种情况下可能不承担刑事责任。
   • 防卫过当情形：防卫过当构成犯罪的，应负刑事责任，但可减轻或免除处罚。具体罪名和量刑需依据犯罪情节和后果确定。比如，对方只是轻微推搡你，你却用凶器将对方打成重伤，这就可能构成防卫过当，需要承担相应的刑事责任，但量刑时可能会从轻或减轻处罚。
   • 故意伤害情形：若还手行为被认定为故意伤害，且达到轻伤及以上程度，则构成故意伤害罪。根据《刑法》规定，将面临三年以下有期徒刑、拘役或者管制；致人重伤的，处三年以上十年以下有期徒刑；致人死亡或以特别残忍手段致人重伤造成严重残疾的，处十年以上有期徒刑、无期徒刑或死刑。例如，你还手时故意用力击打对方的要害部位，导致对方轻伤，就可能构成故意伤害罪，面临相应的刑事处罚。

5. 综合考虑因素

   • 在具体判断时，需综合考虑以下因素：事件的起因和经过，包括双方是否存在预谋、冲突升级的过程等；双方的行为方式，如是否使用凶器、攻击力度和部位等；造成的后果，如伤害程度、是否致残或致死等；还手行为的必要性和合理性，以及是否明显超过必要限度。

6. 建议

   • 在面对此类情况时，建议保持冷静，尽量避免冲突升级，并及时报警求助。如果已经发生了打架行为，要积极配合公安机关的调查处理，如实陈述事情的经过。同时，要注意收集和保留相关证据，如现场照片、视频、证人证言等，以便在后续的处理中维护自己的合法权益。

如果你还有其他关于侵权损害（人格权）方面的法律问题，可以直接向我咨询。