通常三人及以上聚集在一起进行斗殴，就可能被认定为聚众斗殴。不过，这一认定并非单纯基于人数，还需结合具体案件情况综合判断。以下是对这一问题的详细解析：
一、人数要求与构成条件
基本人数标准：
- 聚众斗殴罪中的“聚众”，一般是指一方或双方人数在三人及以上进行斗殴。例如，一方纠集三人以上与他人打斗，或双方各有三人以上参与斗殴，均属于聚众斗殴的情形。但这里的三人及以上，既包括首要分子、积极参加者，也包括其他一般参加者。
司法实务中的考量：
- 行为目的与意思联络：即便人数达到三人以上，若参与者之间缺乏共同实施斗殴的故意和明确的意思联络，则不能认定为聚众。如偶然发生的冲突，因参与者彼此不相识且无事先纠集，不构成聚众斗殴。
- 核心人员与作用：判断“聚众”时，需重点关注起组织、策划、指挥作用的核心人员及积极参与者。随声附和或在现场但未实际参与斗殴的人员，一般不计入聚众人数。
二、主观故意与斗殴行为
主观故意：
- 双方主观上需有互相殴斗的故意，即明知自己的行为会伤害他人身体健康等，并希望或放任这种结果发生。此故意非基于正当防卫等合法目的，而是出于报复、争霸或其他不正当目的。
斗殴行为：
- 实施了斗殴行为，包括使用拳脚、器械等互相攻击对方身体。斗殴可发生在公共场所或隐蔽地点。
三、特殊情形下的认定
双方人数不均等：
- 双方均有互殴的故意，斗殴时一方达三人以上，一方不到三人的，对达三人以上的一方可以认定为聚众斗殴。对不到三人的一方，如果有聚众行为的，也可以聚众斗殴罪论处；如果没有聚众行为的，不以聚众斗殴罪论处，构成其他罪的，以其他罪论处。
行为性质恶劣：
- 若双方均未达到三人，但行为具有聚众斗殴的恶劣性质和较大社会危害性，如持械斗殴、在公共场所斗殴造成社会秩序严重混乱等，也可能按聚众斗殴罪定罪处罚。
四、法律后果与处罚
构成犯罪：
- 聚众斗殴行为若情节严重，将构成聚众斗殴罪，依法追究首要分子和积极参加者的刑事责任。首要分子指在聚众斗殴中起组织、策划、指挥作用的人员；积极参加者指积极参与斗殴活动的人员。
行政处罚与刑事责任：
- 若斗殴情节显著轻微、危害不大，可能不构成犯罪，而依据治安管理处罚法进行行政处罚。
- 若聚众斗殴造成严重后果，如致人重伤、死亡，则可能依照故意伤害罪、故意杀人罪的规定定罪处罚。
非主体人员的处理：
- 对于一般的围观者或被裹挟到现场但未参与斗殴的人员，通常不会被当作聚众斗殴的违法犯罪主体进行抓捕。
总结来看，聚众斗殴罪的认定涉及人数要求、主观故意、斗殴行为以及法律后果等多个方面。在司法实践中，需结合案件具体情况进行综合判断。如果你或你身边的人涉及此类案件，建议直接向我咨询，以便获得更具体、更专业的法律建议。