聚众斗殴罪中的“聚众”，指的是斗殴双方中的任何一方纠集三人以上进行斗殴，即只要一方人数达到三人以上，且符合聚众斗殴的行为特征，就可构成该罪。下面我将从不同情况为你详细分析：
一方人数达到三人以上
在司法实践中，若一方纠集三人以上进行斗殴，那么对该方的首要分子和积极参加者，可按聚众斗殴罪处理。例如，A方有1人，B方纠集了5人来与A方打斗，此时B方的首要分子和积极参加者就可能构成聚众斗殴罪。这是因为聚众斗殴的本质是群体性的暴力冲突，一方的“众”（三人或三人以上）足以体现其群体性特征。
双方人数均达到三人以上
当斗殴双方均有三人以上参与时，双方的首要分子和积极参加者通常都会被认定构成聚众斗殴罪。如A方5人、B方6人相互打斗，双方符合条件的人员都可能以聚众斗殴罪论处。这种情况下，双方都体现了群体性的暴力冲突特征，符合聚众斗殴罪的构成要件。
特殊情况的考量
人数略少于三人但符合聚众特征：即使实际到场参与斗殴的人数略少于三人，但如果结合整体情况能认定符合聚众特征的，如存在首要分子组织、策划、指挥多人参与斗殴等情形，也可能构成聚众斗殴罪。这是因为聚众斗殴不仅关注人数，还关注行为的组织性和暴力性。
一方有聚众故意，另一方无聚众故意但积极参与：聚众斗殴并不要求双方都必须具有聚众的故意。一方有聚众斗殴的故意并实施了实际的斗殴行为，而另一方即使没有聚众的故意，但在明知对方聚众前来斗殴的情况下积极参与，也可能构成聚众斗殴罪。这是因为另一方的积极参与行为也助长了暴力冲突的发生。
法律后果
根据《中华人民共和国刑法》第二百九十二条的规定，对聚众斗殴的首要分子和其他积极参加者，将依法处以三年以下有期徒刑、拘役或者管制；在特定情形下（如多次聚众斗殴、人数多规模大、在公共场所或交通要道聚众斗殴造成社会秩序严重混乱、持械聚众斗殴等），将处以三年以上十年以下有期徒刑。如果聚众斗殴致人重伤、死亡，还将依照刑法中关于故意伤害罪和故意杀人罪的规定定罪处罚。
总结与建议：
聚众斗殴是一种严重的犯罪行为，其认定和惩处都受到法律的严格规定。在判断是否构成聚众斗殴罪时，必须综合考虑参与人数、主观故意、客观行为以及社会影响等多个因素。如果你或他人涉及此类问题，建议直接向我咨询，以获得准确的法律意见和帮助。