结论：走错道逆行又退回来是否扣分，需结合具体情况判断，但通常情况下，只要存在逆行行为，即会被认定为违章并面临扣分和罚款。以下是对此问题的详细分析：

1. 逆行行为的认定：

   • 逆行是指车辆违反交通规则，在单行道或禁止逆行的路段上逆向行驶。这种行为不仅违反了交通规则，也极易引发交通事故，对自身和他人的安全构成威胁。
   • 交通管理部门在认定逆行时，主要依据车辆是否有在单行线或禁止逆行的路段上逆向行驶的客观事实，以及是否被电子监控设备抓拍或交警现场发现。

2. 逆行行为的处罚：

   • 普通道路逆行：依据《道路交通安全违法行为记分管理办法》及《中华人民共和国道路交通安全法》的相关规定，驾驶车辆在普通道路上逆向行驶，将一次记3分，并面临20元以上200元以下的罚款。
   • 高速公路逆行：在高速公路上逆向行驶的行为极其危险，处罚也更为严厉。根据相关规定，此类行为将一次记12分，并同样面临20元以上200元以下的罚款。

3. 逆行后退回的特殊情况：

   • 如果驾驶人刚驶入单行道或禁止逆行的路段就立刻意识到错误并及时退回，且整个过程中没有影响其他车辆和行人正常通行，也没有被电子监控设备抓拍或交警现场发现，那么可能不会被认定为逆行并给予处罚。但这种情况较为罕见，且需要驾驶人具备高度的警觉性和反应能力。
   • 在某些特殊情况下，如交警指挥下逆行退回、避让紧急车辆或救助危难等，即使被电子设备记录，驾驶人也可以通过提供相关证据（如报警记录、救助证明等）向交警部门提出申诉。经核实情况属实后，会撤销相应的违法记录。

4. 法律建议与提醒：

   • 驾驶人在驾驶过程中应严格遵守交通规则，特别是关于逆行的规定。在行驶前应提前规划好路线，留意路标和交通信号，以避免误入逆行车道。
   • 如果不慎逆行，应立即开启双闪警示灯，确保自身安全的同时，尽快寻找机会安全地驶回正确车道。切勿因慌张或侥幸心理而继续逆行或违规倒车。
   • 对于任何交通违法行为，都应积极配合交通管理部门的调查和处理工作。如有异议或特殊情况，应及时向交警部门提出申诉并提供相关证据。

总结：走错道逆行又退回来是否扣分，需根据具体情况判断。但无论如何，逆行都是一种严重的交通违法行为，不仅会导致扣分和罚款，更可能引发严重的交通事故和人员伤亡。因此，建议驾驶人时刻留意路况和交通信号，确保行车安全，避免逆行等违法行为的发生。如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。