聚众斗殴并不要求双方都是三人以上。聚众斗殴罪中的“聚众”指的是为实施斗殴而聚集三人或三人以上的行为，这里并不要求双方都必须达到三人以上，只要其中一方满足这一条件，且实施了斗殴行为，即可视为“聚众斗殴”。
具体来说：
一方聚众的情形：如果一方聚集了三人或三人以上进行斗殴，而另一方人数少于三人，甚至只有一人，只要聚众的一方符合聚众斗殴的构成要件，即可认定为聚众斗殴罪。此时，对聚众一方应依法追究刑事责任，对另一方则根据具体情况处理，如果其有与对方互殴的故意和行为，也可能构成其他犯罪，如故意伤害罪等。
双方聚众的情形：如果双方均聚集了三人或三人以上进行斗殴，那么显然符合聚众斗殴罪的构成要件，对双方的首要分子和其他积极参加者都应依法追究刑事责任。
综上所述，聚众斗殴罪的关键在于一方或双方是否聚集了三人或三人以上进行斗殴行为，而不是要求双方都必须达到三人以上。如果你或你身边的人涉及此类问题，建议尽快咨询专业律师，以便得到准确的法律意见和帮助。作为专业律师，我在刑事辩护领域有着丰富的经验，如果你有任何疑问或需要进一步的法律帮助，请随时向我提问。