结论：聚众斗殴罪中的“聚众”指的是斗殴双方中的任何一方纠集三人以上进行斗殴。只要一方人数达到三人以上，且符合聚众斗殴的行为特征，即可构成该罪。双方人数均达到标准时，各自的首要分子和积极参加者通常都会被认定构成聚众斗殴罪。以下是对此问题的详细分析：
一、聚众斗殴罪的人数标准
单方人数标准：
- 根据《中华人民共和国刑法》第二百九十二条及相关司法解释，聚众斗殴通常指的是三人或三人以上参与的斗殴行为。这里的“三人”是区分一般斗殴与聚众斗殴的基本界限。如果斗殴的任一方人数达到或超过三人，并实施了斗殴行为，则可能构成聚众斗殴。
双方人数情况：
- 在司法实践中，若一方纠集三人以上进行斗殴，对该方的首要分子和积极参加者，可按聚众斗殴罪处理。例如，A方有1人，B方纠集了5人来与A方打斗，此时B方的首要分子和积极参加者就可能构成聚众斗殴罪。
- 当斗殴双方均有三人以上参与时，双方的首要分子和积极参加者通常都会被认定构成聚众斗殴罪。如A方5人、B方6人相互打斗，双方符合条件的人员都可能以聚众斗殴罪论处。
二、聚众斗殴罪的认定条件
组织性和规模性：
- 聚众斗殴强调斗殴行为的组织性和规模性。即“聚众”意味着纠集多人实施斗殴，具有一定的组织性和计划性。这种组织性可能体现在事先的策划、指挥或分工上。
行为性质和后果：
- 在判断是否构成聚众斗殴时，法院会综合考虑斗殴的性质、情节、后果以及社会影响等因素。例如，多次聚众斗殴、人数多规模大、在公共场所或交通要道造成社会秩序严重混乱、持械聚众斗殴等情形，都会被视为更严重的犯罪行为，并受到相应的法律制裁。
首要分子与积极参加者：
- “首要分子”是指在聚众斗殴中起组织、策划、指挥作用的犯罪分子。
- “积极参加者”是指除首要分子以外，在聚众斗殴中发挥重要作用或直接参与打斗的人。
- 法律对首要分子和积极参加者规定了较为严厉的刑事处罚，而对一般的参与者可能会依据《中华人民共和国治安管理处罚法》给予行政处罚。
三、特殊情况的考量
个别轻微冲突：
- 若虽然参与人数较多，但只是个别人员之间发生了轻微肢体冲突，并未体现出“聚众”斗殴的故意和行为特征，则不宜认定为聚众斗殴罪。
另一方无聚众故意：
- 聚众斗殴并不要求双方都必须具有聚众的故意。一方有聚众斗殴的故意并实施了实际的斗殴行为，而另一方即使没有聚众的故意，但在明知对方聚众前来斗殴的情况下积极参与，也可能构成聚众斗殴罪。
四、法律责任
刑事处罚：
- 对于聚众斗殴的首要分子和其他积极参加者，根据《中华人民共和国刑法》的规定，将面临三年以下有期徒刑、拘役或者管制至十年有期徒刑不等的刑罚。
- 若聚众斗殴致人重伤、死亡，则将依照故意伤害罪或故意杀人罪的规定定罪处罚。
社会警示：
- 聚众斗殴是严重的违法行为，不仅会对参与者造成身体和精神上的伤害，还可能对社会秩序和公共安全构成威胁。因此，公众应遵守法律法规，不参与任何形式的聚众斗殴行为。
总结与建议：
聚众斗殴罪的认定是一个综合考量的过程，既要看人数是否达到法定标准，也要考虑行为人的主观意图、斗殴事件的规模及影响效果等多重因素。如果您或他人涉及此类问题，或者对此有任何疑问，都可以直接向我咨询，我会根据您的具体情况提供准确的法律帮助和指导。