在治安管理案件中，若多人对受害人实施加害行为，确定各加害人的行政责任需综合考量以下核心要点，结论前置如下：

1. 责任划分原则：共同行为与单独行为的区分

• 共同加害行为：若多人基于共同故意（如事先合谋或共同实施）对受害人实施加害，根据《治安管理处罚法》第十七条，各行为人需对整体行为后果承担连带责任。例如，多人围殴受害人导致轻微伤，即使无法明确具体伤害由谁造成，所有参与者均可能被认定为共同违法，面临相同处罚（如行政拘留、罚款）。
• 单独加害行为：若各加害人行为独立（如无共同故意，但各自实施攻击），则需根据各自行为对受害人的实际损害程度，分别确定责任。例如，甲推搡、乙踢打，需分别评估两行为与受害人伤情的因果关系，单独处罚。

2. 责任认定关键要素

• 主观故意：需证明加害人存在故意（直接故意或间接故意）。例如，多人围堵受害人并实施攻击，可推定存在共同故意；若某人仅在场但未参与，则可能不构成违法。
• 客观行为：通过监控录像、证人证言、伤情鉴定等证据，明确各加害人的具体行为（如是否持械、攻击部位、力度等）。例如，持棍击打头部与徒手推搡的危害程度不同，处罚力度亦有差异。
• 因果关系：需证明加害行为与受害人损害结果之间存在直接因果关系。例如，多人殴打导致受害人骨折，需通过医学鉴定确认骨折由哪一行为或哪些行为共同导致。

3. 责任承担方式

• 共同责任：对共同加害行为，公安机关可对所有参与者一并处罚，无需区分主从。例如，三人结伙辱骂、推搡受害人，均可处以行政拘留并罚款。
• 单独责任：对单独加害行为，按各自行为性质和后果处罚。例如，甲用拳头击打受害人面部致轻微伤，乙用脚踢受害人腿部未造成明显伤害，则甲可能被处拘留+罚款，乙可能被警告或罚款。
• 责任减轻或免除：若加害人存在从轻情节（如未满18周岁、主动停止侵害、赔偿损失并取得谅解），可依法减轻或不予处罚。

4. 实务建议

• 证据固定：受害人应及时报警并保留现场证据（如录像、照片、医疗记录），以便公安机关准确认定各加害人行为。
• 程序参与：加害人有权陈述、申辩，对处罚不服可申请行政复议或提起行政诉讼。
• 调解优先：若双方同意，公安机关可组织调解，达成赔偿协议后可能减轻处罚。

总结：多人加害案件中，行政责任的确定需结合主观故意、客观行为及因果关系，区分共同行为与单独行为，并依据证据和法律规定综合判定。如有具体案件，可进一步提供细节以便精准分析。