针对您提出的“红绿灯过了斑马线停下退回去怎么处罚”的问题，这主要涉及到交通规则中的越线停车和闯红灯两种情形，具体处罚会根据您的实际行为来判断。

首先，如果您在红灯亮起时，由于前行惯性或疏忽，车身整体或部分越过了停止线，但您立即停车并未继续移动，这种行为通常被认定为越线停车。根据《中华人民共和国道路交通安全法实施条例》第五十一条及《机动车驾驶证申领和使用规定》，越线停车会被扣除2分，并可能面临20元以上200元以下的罚款，通常情况下罚款金额为200元。

其次，如果您在红灯亮起后，不仅越过了停止线，还继续行驶通过整个路口，甚至尝试倒车退回，这种行为则构成闯红灯。闯红灯是严重的交通违法行为，根据相关规定，一旦被认定为闯红灯，您将被扣除6分，并需承担相应的罚款责任，罚款金额由当地交通管理部门根据实际情况决定。

特殊情况说明：

• 如果您是因为避让突然出现的行人或其他紧急情况而不得不在红灯时越过停止线并停在斑马线上，且能够提供相关证据证明，交通管理部门可能会根据具体情况进行判断，不认定为越线停车或闯红灯。
• 若您的车辆后轮胎也越过了停止线停在斑马线上，处罚可能会更重，如扣3分并罚款200元，具体处罚标准依地区规定而定。
• 特别需要注意的是，红灯时越过停止线后千万不要尝试倒车，因为倒车可能造成追尾事故，届时倒车方需承担全部责任。

建议与指导：

1. 严格遵守交通规则：驾驶过程中应时刻保持警惕，严格遵守交通规则，确保行车安全。
2. 及时采取措施：如果不小心误闯红灯或越过停止线，应立即采取刹车措施并停在原地，避免继续行驶而构成更严重的交通违法行为。
3. 咨询专业意见：对于交通违章的处罚规定如有疑问，应及时咨询当地交通管理部门或专业律师以获取准确信息。

综上所述，红灯时过了斑马线停车的处罚主要取决于您的具体行为及后续动作。为了您和他人的安全，请务必遵守交通规则，谨慎驾驶。