结论：在对方五个人闹事，其中一人打架的情况下，是否可以追究剩下几个人的责任，需根据具体情况判断。若剩下的人存在教唆、帮助或共同参与等行为，则可能需承担相应责任；若他们仅是围观或未参与，则一般不需承担责任。

详细分析：

1. 共同侵权的概念：

   • 在侵权法中，共同侵权是指两个或两个以上的行为人，基于共同的故意或过失，共同实施侵害他人合法权益的行为，造成他人损害，应当承担连带责任的侵权行为。

2. 可能追究责任的情况：

   • 教唆或帮助：如果剩下的四个人中，有人教唆或帮助打架者实施侵权行为，那么他们也可能被视为共同侵权人，需要承担相应的法律责任。例如，如果其中一人鼓励打架者动手，或者提供工具等帮助，都可能构成教唆或帮助行为。
   • 共同参与：如果剩下的四个人虽然未直接动手，但以某种方式共同参与了闹事行为，如围堵、威胁等，且这些行为与打架行为有直接关联，那么他们也可能被视为共同侵权人。

3. 不需追究责任的情况：

   • 单纯围观：如果剩下的四个人只是单纯地围观，没有参与任何教唆、帮助或共同参与的行为，那么他们一般不需要承担法律责任。因为单纯的围观并不构成侵权行为。
   • 未参与且无过错：如果剩下的四个人不仅未参与闹事和打架行为，而且在事件发生过程中没有过错行为（如未提供任何形式的支持或鼓励），那么他们也不应承担责任。

4. 法律建议：

   • 收集证据：如果你认为剩下的几个人存在教唆、帮助或共同参与等行为，建议尽快收集相关证据，如现场监控录像、目击者证言等，以证明他们的过错行为。
   • 报警处理：在收集到足够证据后，可以向公安机关报案，由公安机关进行调查处理。如果构成犯罪，将依法追究刑事责任；如果不构成犯罪，但存在违法行为，将依法给予行政处罚。
   • 民事诉讼：如果打架行为给你造成了人身损害或财产损失，你还可以向法院提起民事诉讼，要求打架者及可能存在的共同侵权人承担民事赔偿责任。

后续行动建议：

• 如果你遇到了类似的情况，建议保持冷静，尽快脱离现场以确保自身安全。
• 及时收集并保存相关证据，以便后续维权使用。
• 有问题可以直接向我咨询，我会根据你的具体情况提供更详细的法律建议。