结论：残疾人跟残疾人打架，残疾人之家负责人是否需要负责，不能一概而论，需根据具体情况判断。以下从不同角度进行分析：
一、残疾人之家负责人的管理责任
如果残疾人之家负责人存在管理疏忽：
- 根据《中华人民共和国民法典》中关于侵权责任的相关规定，如果残疾人之家负责人未能尽到合理的管理职责，导致残疾人在其场所内发生打架等伤害事件，那么负责人可能需要承担一定的民事赔偿责任。这种责任通常基于过错原则，即负责人因疏忽或未履行管理义务而需对受害者的损失进行赔偿。
- 举例：如果残疾人之家未设置足够的安全监控措施，或者工作人员未及时发现并制止打架行为，导致其中一方受伤，那么负责人可能因管理疏忽而被认定为存在过错，需承担相应责任。
如果残疾人之家负责人已尽到管理职责：
- 如果残疾人之家负责人已经采取了合理的安全措施，如设置监控、安排工作人员巡逻等，并且打架行为是突发且难以预防的，那么负责人可能不需要承担民事赔偿责任。
- 举例：在残疾人之家内，两名残疾人因个人矛盾突然发生争执并打架，工作人员迅速赶到现场并制止，且未造成严重后果。在此情况下，负责人已尽到管理职责，通常不需要承担责任。
二、打架双方的自身责任
打架双方作为完全民事行为能力人或限制民事行为能力人：
- 如果打架的双方都是完全民事行为能力人或限制民事行为能力人（根据具体情况判断），他们应当对自己的行为负责。如果打架导致其中一方或双方受伤，那么受伤方有权要求侵权方承担民事赔偿责任。
- 举例：两名具有完全民事行为能力的残疾人在残疾人之家内因琐事发生争执并打架，导致其中一方受伤。在此情况下，受伤方有权要求侵权方赔偿医疗费、误工费等损失。
特殊情况下的监护责任：
- 如果打架的双方中有一方或双方是无民事行为能力人或限制民事行为能力人，且其监护人未尽到监护职责，那么监护人可能需要承担一定的民事赔偿责任。
- 举例：一名无民事行为能力的残疾人在残疾人之家内与另一名残疾人打架并受伤，且其监护人未在场或未采取有效措施防止事件发生。在此情况下，监护人可能因未尽到监护职责而被要求承担赔偿责任。
三、刑事责任的可能性
- 如果打架行为构成犯罪（如故意伤害罪），那么侵权方可能需要承担刑事责任。在此情况下，残疾人之家负责人是否需要承担责任，取决于其是否与犯罪行为有关联或是否存在管理疏忽等过错。
- 举例：两名残疾人在残疾人之家内打架，导致其中一方重伤。经鉴定，侵权方的行为构成故意伤害罪。在此情况下，侵权方需承担刑事责任，而残疾人之家负责人是否需承担责任则需根据具体情况判断。
建议：
- 对于残疾人之家负责人来说，应加强安全管理措施，确保残疾人在其场所内的安全。同时，应定期对工作人员进行培训，提高其应对突发事件的能力。
- 对于残疾人及其家属来说，应了解相关法律法规，明确自身权利和义务。在发生纠纷时，应及时寻求法律援助或咨询专业律师，以维护自身合法权益。
如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。