结论：红绿灯路口等车时乘客下车又上车，这一行为通常属于违法停车的范畴，驾驶人可能会面临警告、罚款甚至扣分的处罚。不过，具体是否扣分及罚款金额，需根据当地交通管理政策和实际情况来确定。
详细分析：
违法停车的认定：
- 根据《中华人民共和国道路交通安全法实施条例》第六十三条的规定，交叉路口（包括红绿灯路口）以及距离交叉路口50米以内的路段，是禁止停车的。因此，在红绿灯路口等车时乘客下车，无论是否再次上车，都构成了违法停车的行为。
处罚措施：
- 对于违法停车的行为，公安机关交通管理部门有权对驾驶人进行处罚。处罚措施通常包括警告或二十元以上二百元以下的罚款。
- 在某些地区或特定情况下，违法停车还可能导致驾驶人被扣分。具体扣分标准可能因地区而异，但一般来说，此类违法行为可能会被记1分或更多。
特殊情况的处理：
- 如果遇到紧急情况，如车上乘客突发疾病急需救治等，驾驶人不得已在红绿灯路口停车下人，并采取了必要的安全措施（如开启危险报警闪光灯、放置三角警示牌等），且事后能够向交警部门如实说明情况并提供相关证据材料，那么这种特殊行为可能不会被认定为违法停车而扣分罚款。
安全建议：
- 为了避免不必要的处罚和潜在的安全风险，建议驾驶人在等红灯时保持车辆静止，不要让乘客下车或上车。
- 如果确实需要停车上下人，应选择允许临时停车且不影响其他车辆和行人通行的路段进行。
法律依据：
- 《中华人民共和国道路交通安全法实施条例》第六十三条：机动车在道路上临时停车，应当遵守下列规定：……（二）交叉路口、铁路道口、急弯路、宽度不足4米的窄路、桥梁、陡坡、隧道以及距离上述地点50米以内的路段，不得停车；……（四）车辆停稳前不得开车门和上下人员，开关车门不得妨碍其他车辆和行人通行；……
总结与建议：
红绿灯路口等车时乘客下车又上车，这一行为违反了交通法规中关于禁止停车的规定，驾驶人可能会面临警告、罚款甚至扣分的处罚。为了确保自身和他人的安全，以及避免不必要的法律责任，建议驾驶人严格遵守交通规则，不要在红绿灯路口或其他禁止停车的路段随意停车上下人。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。