到别人家打人双方都受伤，责任需根据具体情况判断，可能涉及正当防卫、防卫过当或互殴等情形。以下是对此问题的详细法律分析：

一、正当防卫情形

若你在别人家遭受攻击时，为了保护自己或他人的人身安全，采取了必要的防卫行为，且该行为符合正当防卫的构成条件，则无需承担法律责任。正当防卫的构成条件包括：

1. 存在不法侵害：即有人对你进行攻击或实施其他不法行为。
2. 不法侵害正在进行：你的防卫行为必须是在对方的不法侵害正在进行时实施的。
3. 目的是防卫：你的防卫行为必须是为了制止不法侵害，保护自己或他人的合法权益。
4. 没有明显超过必要限度：你的防卫行为应适度，不能明显超过制止不法侵害所必需的限度。

若你的行为符合正当防卫的条件，即使双方都受伤，你也无需承担法律责任。

二、防卫过当情形

若你的防卫行为明显超过了必要的限度，造成了对方不必要的伤害，那么你将面临以下法律责任：

1. 刑事责任：根据《中华人民共和国刑法》的规定，防卫过当应当负刑事责任，但会减轻或者免除处罚。具体罪名和刑罚将根据你的行为后果来确定，可能涉及故意伤害罪等。
2. 民事赔偿责任：你需要对对方因你的防卫过当行为所遭受的人身损害进行赔偿，包括医疗费、误工费、护理费等合理费用。

在判断防卫行为是否过当时，会综合考虑不法侵害的强度、防卫行为的必要性以及造成的损害后果等因素。

三、互殴情形

若双方在打斗过程中均存在主动攻击行为，且无法证明一方是为了防卫而采取行动，则可能被认定为互殴。在互殴情形下，双方均需根据各自的过错程度承担相应的法律责任。这可能包括：

1. 行政责任：根据《中华人民共和国治安管理处罚法》的规定，对双方进行行政处罚，如罚款、拘留等。
2. 民事赔偿责任：双方需根据各自的过错程度对对方的人身损害进行赔偿。

四、特殊正当防卫情形

对于正在进行行凶、杀人、抢劫、强奸、绑架以及其他严重危及人身安全的暴力犯罪，如果你采取防卫行为并造成不法侵害人伤亡，这不属于防卫过当，而是特殊正当防卫，你不需承担任何刑事责任。但需注意，特殊正当防卫的适用条件非常严格，必须是在面临严重危及人身安全的暴力犯罪时才能采取。

五、应对建议

1. 及时报警：在遭遇不法侵害或打斗时，首先要保持冷静，立即报警，让警方介入调查并处理。
2. 保留证据：尽量保留现场的相关证据，如监控视频、证人证言、医疗记录等，以便在后续处理中维护自己的合法权益。
3. 寻求法律帮助：在处理过程中，你可以向我咨询，以更好地了解自己的权利和义务，以及可能的法律后果。

综上所述，到别人家打人双方都受伤的责任判断需根据具体情况进行。若你面临此类情况，请务必保持冷静，及时报警并保留证据，同时寻求专业法律帮助以维护自己的合法权益。