两人打架时，警察不直接处理先动手的人，是因为法律在判断此类事件时会综合考虑多方面因素，而非仅依据“谁先动手”这一单一标准。以下从不同角度为你详细分析：
一、民事赔偿责任方面
在打架事件中，若双方都有损伤，法律会依据过错大小来划分赔偿责任。先动手一方通常被视为存在更大过错，因此需要承担主要甚至全部的赔偿责任。但这并不意味着后动手一方就完全无责，如果后动手一方在还手过程中超出了必要限度，造成了不必要的伤害，那么他也需要承担相应的赔偿责任。例如，甲先动手打了乙，乙在还手时将甲打成重伤，那么乙除了可能因防卫过当需要承担部分责任外，甲先动手的行为也是引发冲突的重要原因，甲仍需对乙的合理损失承担赔偿责任。
二、行政处罚方面
根据《中华人民共和国治安管理处罚法》，殴打他人或故意伤害他人身体的，会受到相应的行政处罚。在实际处罚中，公安机关会将“先动手”作为一个重要考量因素，先动手一方通常会被认定为过错较大，因此处罚相对较重。然而，如果后动手一方的行为属于合理的自卫行为，即为了保护自己的人身安全而采取的必要的防卫措施，那么后动手一方可能不予处罚或处罚较轻。例如，甲先动手打乙，乙在躲避过程中不小心将甲推倒导致甲受伤，若乙的行为被认定为正当防卫或防卫过当但情节轻微，那么乙可能不会受到行政处罚或处罚较轻。
三、刑事责任方面
如果打架行为造成他人轻伤以上后果，可能构成故意伤害罪等犯罪。在此情况下，先动手一方在犯罪的起因上具有更大的过错，量刑时法官通常会酌情从重处罚。但同样，如果后动手一方的行为构成正当防卫，则不需要承担刑事责任。法律会仔细审查双方的行为和动机，以确保公正裁决。例如，甲先动手持刀攻击乙，乙在生命受到威胁的情况下夺刀反击并将甲打成重伤，若乙的行为被认定为正当防卫，那么乙不需要承担刑事责任。
四、综合考量与和平解决
在处理打架事件时，法律不会简单地以“谁先动手”来判断谁对谁错。而是会全面、客观地了解事件的经过，分析双方的行为、动机和后果。同时，我们也应倡导和平解决争端的方式，鼓励双方通过沟通、协商等合法途径解决矛盾，避免使用暴力来解决问题。因为暴力不仅可能造成人身伤害和财产损失，还可能引发更严重的法律后果。
建议：
如果你或他人遇到了此类事件，并需要进一步的法律帮助或咨询，可以直接向我提问，我会根据你的具体情况提供详细的法律建议。