结论：亲人打你时，你直接打回去可能犯法，具体是否违法及法律后果需根据打回去的行为性质、造成的后果等因素综合判断。

法律分析：

1. 正当防卫的认定：

   • 根据《中华人民共和国刑法》第二十条的规定，正当防卫是指为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为。如果亲人打你的行为构成不法侵害，且你打回去的行为是为了制止这种不法侵害，且没有超过必要限度，那么你的行为可能构成正当防卫，不承担法律责任。
   • 但需注意：正当防卫的认定需要严格符合法律规定的条件，包括不法侵害的存在、防卫行为的必要性、防卫行为的适度性等。如果打回去的行为超出了制止不法侵害的必要限度，造成了不必要的伤害，那么可能不构成正当防卫，而需要承担相应的法律责任。

2. 互殴行为的法律后果：

   • 如果亲人打你时，你也打回去，且双方行为均不构成正当防卫，那么这种行为可能被视为互殴。互殴行为通常会导致双方均受到行政处罚，如拘留、罚款等。
   • 具体处罚：根据《中华人民共和国治安管理处罚法》第四十三条的规定，殴打他人的，或者故意伤害他人身体的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。如果互殴行为造成对方轻伤或以上伤害，那么可能构成刑事案件，需要承担刑事责任。

3. 特殊情况下的法律后果：

   • 如果亲人打你的行为具有特殊情节，如结伙殴打、伤害残疾人、孕妇、不满十四周岁的人或者六十周岁以上的人等，那么根据《中华人民共和国治安管理处罚法》第四十三条的规定，处十日以上十五日以下拘留，并处五百元以上一千元以下罚款。
   • 如果打回去的行为也具有这些特殊情节，那么同样会受到更严厉的处罚。

法律建议：

• 保持冷静：在面对亲人的不法侵害时，尽量保持冷静，避免情绪激动导致行为失控。
• 寻求合法途径解决：如果可能的话，尝试通过沟通、协商等合法途径解决纠纷，避免暴力冲突。
• 及时报警：如果无法通过沟通解决纠纷，或者对方的行为已经构成不法侵害，那么应及时报警，让警方介入处理。
• 保留证据：在冲突过程中，尽量保留相关证据，如现场照片、视频、证人证言等，以便在后续的法律程序中维护自己的权益。

可能后果：

• 如果打回去的行为被认定为正当防卫，那么你不承担法律责任。
• 如果打回去的行为被认定为互殴或超出正当防卫的必要限度，那么你可能需要承担行政责任或刑事责任，具体取决于造成的后果和行为的性质。

总之，面对亲人的不法侵害时，应尽量避免直接打回去的行为，而是寻求合法途径解决纠纷。如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。