针对您提出的问题，关于一方有聚众叫人斗殴的行为，而另一方当时有四人但只有斗殴没有聚众的情况如何定性，以下是我的分析：

首先，我们需要明确“聚众斗殴”的构成要件。聚众斗殴通常指的是出于报复、争霸或其他不良目的，召集多人相互殴斗，扰乱公共秩序的行为。这里的关键在于“聚众”，即召集多人的行为。

1. 对于聚众叫人斗殴的一方：

   • 如果这一方出于报复、争霸或其他不良目的，召集了多人（通常指三人以上）与另一方进行殴斗，那么其行为符合聚众斗殴罪的构成要件，应以聚众斗殴罪论处。

2. 对于另一方只有斗殴没有聚众的情况：

   • 如果另一方虽然参与了斗殴，但并未召集多人，即没有“聚众”的行为，那么其行为可能不构成聚众斗殴罪。
   • 在这种情况下，另一方的行为可能根据具体案件事实、证据和法律被定为其他罪名，如故意伤害罪等。这取决于斗殴的具体情节、造成的后果以及参与者的主观故意等因素。

综上所述，一方有聚众叫人斗殴的行为，而另一方只有斗殴没有聚众的情况，应根据双方的具体行为、情节和后果进行分别定性。聚众的一方可能构成聚众斗殴罪，而另一方则可能根据具体情况被定为其他罪名。在处理这类案件时，需要仔细审查案件事实、证据和法律，以确保准确、公正地定性双方的行为。

如果您或您身边的人面临类似情况，建议尽快咨询专业律师，以便获得更具体的法律分析和建议。