打人者互相推卸责任时，责任认定的核心标准是结合行为与损害结果的因果关系、主观过错程度及证据情况综合判断。具体可从以下角度分析：

1. 因果关系是核心依据
   法律上责任认定的基础是行为与损害结果之间的因果关系。若多人共同实施打人行为，需通过现场监控、证人证言、伤情鉴定等证据，明确每个人的行为是否直接导致受害者受伤（如谁击中了关键部位）。若某人的行为与损害结果无直接关联（如仅在现场但未动手），则无需承担责任。

2. 主观过错程度影响责任分配
   即使多人行为均与损害结果有关，责任大小也会因主观过错不同而差异：

   • 故意与过失：若某人主动挑衅、使用凶器或针对要害部位攻击，属于故意或重大过失，需承担主要责任；若他人仅因拉架或轻微推搡导致意外，过错较轻，责任相应减少。
     
   • 共同故意与过失混合：若多人事先通谋共同打人（如约定“教训”受害者），则构成共同侵权，通常承担连带责任；若部分人临时加入且未参与核心攻击行为，可能按过失比例分担责任。

3. 证据链的完整性决定认定结果
   推卸责任时，证据是关键：

   • 直接证据：如监控清晰记录某人挥拳击中受害者面部，可直接认定其责任；
     
   • 间接证据：若多人行为交织（如多人围殴导致受害者倒地受伤），需结合伤情位置、行为力度等推断主要责任人；
     
   • 自认与证人：若打人者中有人承认自己动手，或目击者指认特定行为人，可作为重要依据。

实务建议：若您遇到此类纠纷，需第一时间固定证据（如报警、调取监控、保留医疗记录），并明确各行为人的具体动作与损害结果的关联性。责任认定需以事实为基础，法律不会因推卸而免除应负之责。如有具体案件细节，可进一步向我咨询，我会结合证据为您分析责任比例。