打残疾人，双方是否都会被拘留，需视具体情况而定，并非绝对。以下从不同角度为您详细分析：
一、若双方均存在违法行为
行政拘留的可能性：
- 根据《中华人民共和国治安管理处罚法》第四十三条，殴打他人或故意伤害他人身体的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款。若双方均实施了殴打行为，且情节相当，公安机关可能对双方均处以行政拘留。
- 特别地，若殴打对象为残疾人，根据该法条第二款，处罚将更为严厉，处十日以上十五日以下拘留，并处五百元以上一千元以下罚款。
民事责任：
- 双方若因打架造成对方身体伤害或财产损失，还需依法承担民事赔偿责任，包括医疗费、误工费等。
刑事责任考量：
- 若打架行为导致对方受到轻伤或以上程度的伤害，可能触犯《中华人民共和国刑法》关于故意伤害罪的规定，面临刑事处罚。此时，司法机关将依法追究相关责任人的刑事责任，可能会被刑事拘留。
二、若一方存在违法行为，另一方为正当防卫
违法方的责任：
- 违法方将因实施殴打行为而面临行政拘留、罚款等行政处罚，甚至可能承担刑事责任。
正当防卫方的权利：
- 若另一方是在遭受不法侵害时采取的必要防卫行为，即使发生肢体冲突，也属于正当防卫，不需承担法律责任，更不会被拘留。
三、特殊情况的考量
残疾状况的影响：
- 对于重度残疾、生活不能自理或存在严重精神、智力障碍的残疾人，若经鉴定不具有完全行为能力和责任能力，可能会从轻、减轻或不予处罚。但这并不意味着其可以随意实施违法行为而不受追究。
自首、立功等情节：
- 若违法方在打架后主动自首、如实供述罪行或有立功表现，将作为从轻、减轻处罚的情节予以考虑。
四、实例说明
假设甲（非残疾人）与乙（残疾人）发生口角后，甲动手殴打乙，乙在反抗过程中也造成了甲的一定伤害。在此情况下：
- 若乙的反抗行为被认定为正当防卫，则乙不需承担法律责任。
- 甲则因殴打残疾人而面临更严厉的行政处罚，甚至可能承担刑事责任。
- 若乙的反抗行为超出了必要限度，造成了甲的重伤或死亡，则乙可能因防卫过当而承担相应的法律责任。
郭成虎律师建议：在任何情况下，暴力行为都是不可取的。应寻求和平、理性的方式解决矛盾。对于残疾人而言，更应注重自我保护，避免卷入不必要的冲突中。若遇到类似情况，建议及时报警并寻求法律帮助。有问题可以直接向我咨询，我会根据您的具体情况提供专业的法律建议。