在十字路口红灯时上下乘客，这种行为是违反交通规定的，会受到相应的处罚。具体来说，处罚可能包括以下两种情况：

1. 违反规定停车处罚：

   • 如果车辆在红灯时停在路口上下乘客，这可以被视为违反规定停车。根据相关法律法规，这种行为可能会被处以100元的罚款，并记2分。

2. 开关车门妨碍行人或非机动车处罚：

   • 如果在上下乘客的过程中，开关车门妨碍了行人或非机动车的正常通行，这也可能构成违法行为。同样地，根据相关法律法规，这种行为也可能会被处以100元的罚款。

此外，我国《中华人民共和国道路交通安全法》第九十三条明确规定，对违反道路交通安全法律、法规关于机动车停放、临时停车规定的，交通管理部门可以指出违法行为，并予以口头警告，令其立即驶离。如果机动车驾驶人不在现场或者虽在现场但拒绝立即驶离，且妨碍了其他车辆、行人通行，那么可能会被处以二十元以上二百元以下的罚款，并有可能将该机动车拖移至不妨碍交通的地点或者公安机关交通管理部门指定的地点停放。但需要注意的是，公安机关交通管理部门拖车时不得向当事人收取费用，并应当及时告知当事人停放地点。如果因采取不正确的方法拖车造成机动车损坏的，还应当依法承担补偿责任。

因此，为了遵守交通规则并确保自身和他人的安全，建议在红灯时不要在路口上下乘客。如果需要上下乘客，应该选择在安全、合法的地点进行，比如停车场或者路边允许临时停车的区域。