结论：是否需要退还对方已支付的4万元赔偿，取决于该款项的性质、支付目的以及司法机关的认定。以下从不同角度进行分析：
1. 款项性质与支付目的
若4万元为对方自愿支付的民事赔偿：
对方酒驾导致事故，需承担民事赔偿责任（如车辆维修费、医疗费等）。若对方在事故后主动支付4万元作为赔偿，且双方未签订书面协议明确该款项为“最终赔偿”或“一次性了结”，则对方可能因刑事处罚（如危险驾驶罪）或后续发现赔偿不足，要求退还部分或全部款项。
法律依据：根据《民法典》第1165条，行为人因过错侵害他人民事权益造成损害的，应承担侵权责任。但若赔偿已实际履行且无争议，对方无权单方面要求退还。
若4万元为对方为减轻刑事处罚而支付的“补偿”：
若对方在刑事立案后，通过支付款项试图获得你的谅解（如出具谅解书），则该款项可能被认定为“刑事和解补偿”。根据《刑事诉讼法》及相关司法解释，刑事和解补偿需双方自愿，且不得以赔偿代替刑事处罚。若对方后续被追究刑事责任，其无权要求退还补偿款，但若补偿款被认定为“非法所得”（如对方通过其他违法手段获取），司法机关可能依法追缴。
2. 司法机关的介入与追缴
若款项被认定为“违法所得”或“赃款”：
若对方支付4万元的资金来源涉及其他违法行为（如赌博、诈骗等），司法机关在侦查过程中可能依法追缴该款项。此时，你需配合调查，若能证明款项合法（如对方合法收入支付），可主张保留；若无法证明，可能需退还。
参考案例：类似网赌提现收到涉诈资金的情况，司法机关会根据资金性质决定是否追缴。
若对方因酒驾被追究刑事责任：
酒驾可能构成危险驾驶罪（《刑法》第133条之一），对方被刑事处罚后，其民事赔偿责任仍需履行。若对方已支付的4万元不足以覆盖实际损失，你可通过民事诉讼要求补充赔偿；若已足额赔偿，对方无权要求退还。
3. 你的权利与应对建议
核实款项性质：
要求对方提供支付凭证（如转账记录、收条），并明确款项用途（如“赔偿款”或“补偿款”）。若对方无法提供，可拒绝退还。
保留证据：
保存事故认定书、维修发票、医疗记录等证据，证明实际损失金额。若4万元已覆盖损失，可主张对方无权要求退还；若未覆盖，可要求补充赔偿。
咨询司法机关：
若对方通过警方或检察院施压要求退还，可向办案机关说明情况，提供款项性质证据，由司法机关依法认定是否需退还。
警惕“二次索赔”：
若对方以“退钱换谅解”为由要求退还，需谨慎处理。刑事谅解需自愿，且退还款项不必然导致减轻处罚。建议咨询律师后决定是否出具谅解书。
4. 特殊情形：对方被追究刑事责任后的赔偿
总结：是否退还需结合款项性质、实际损失及司法机关认定。建议：