在处理打架案件中，当对方先动手时，责任的判定是一个综合考量多方面因素的过程，并非单纯依据谁先动手就判定责任完全在某一方。以下是对此问题的详细解答：
一、证据方面
人证：如果有旁观者目睹了整个打架过程，并且能够明确指出是对方先动手，那么这些目击者的证言将对判定责任起到重要作用。
物证：例如，监控录像如果清晰记录了打架的起始情况，显示对方先有攻击行为，那么这将是非常有力的判定依据。
二、行为判定
主动攻击性：如果一方有主动冲向另一方、先出拳或者先使用器械攻击等明显的主动攻击动作，那么这方基本可以被判定为先动手方。
挑衅行为：若一方通过言语或肢体挑衅，导致另一方反击，需要判断这种挑衅是否构成实质性的动手前奏。如果构成，那么挑衅方可能被视为先动手方。但需要注意的是，后动手方如果反击手段过重，也可能需要承担相应的责任。
三、综合考量因素
在实际判定中，司法机关会综合考量整个事件的前因后果、双方的过错程度等因素。例如：
先动手的原因：如果先动手方是因为被另一方长期欺压而突然爆发，那么这可能需要综合权衡双方的责任比例。
后动手方的反应：如果后动手方在反击过程中使用了过度的暴力手段，导致对方受到严重伤害，那么后动手方也可能需要承担相应的刑事责任和民事赔偿责任。
四、责任划分与处罚
民事责任：根据双方的过错程度和造成的损害结果，划分民事赔偿责任比例。先动手方通常需要承担更大的责任，但如果后动手方也有过错或反击手段过重，也需要承担相应的责任。
刑事责任：如果打架行为导致对方轻伤以上的严重伤害结果，先动手方可能构成故意伤害罪等刑事犯罪。但后动手方如果反击手段过当，也可能构成犯罪。司法机关会根据具体案件情况依法判定。
治安处罚：对于一般的打架斗殴行为，公安机关会根据调查结果对违法行为人进行治安处罚，如罚款、拘留等。
五、特殊情况考虑
孕妇等特殊人群：如果孕妇先动手打架，责任划分需综合多方面因素，包括孕妇的生理状态、对方的过错程度等。在民事责任方面，孕妇先动手本身是有过错的，但如果对方存在挑衅行为导致孕妇情绪激动而先动手，对方也有一定过错。在刑事责任方面，孕妇由于特殊的生理状态，在刑事处罚上可能会有特殊考虑。
正当防卫：如果一方先动手后，另一方为保护自身生命、身体安全进行合理反击，且符合正当防卫条件（如紧迫性、必要性、限度相当等），则无需担责。但正当防卫不能超出必要限度，否则可能构成防卫过当。
综上所述，打架对方先动手时责任的判定是一个复杂的过程，需要综合考量多方面因素。在处理此类案件时，建议当事人及时报警并保留相关证据以便司法机关进行公正判定。