结论：是否需要退回对方退还的赌资，需分情况讨论，主要取决于资金性质、双方约定及法律风险。以下从不同角度展开分析：

1. 从法律性质看：赌资属于非法财物，不受法律保护

根据《治安管理处罚法》第七十条及《刑法》第三百零三条，赌博行为本身违法，赌资属于非法财物，依法应由公安机关收缴。因此：

• 若对方退还赌资后反悔要求退回：从法律角度，赌资本身不应被任何一方占有，双方均无合法依据主张权利。若对方起诉要求返还，法院可能不会支持，甚至可能对双方进行行政处罚（如罚款、拘留）。
• 风险点：若你接受退还的赌资，可能被认定为“参与赌博”的证据，面临行政处罚；若对方举报，公安机关可能介入调查，追缴赌资并处罚。

2. 从双方约定看：若存在“退还后不得索回”的口头协议

若双方在退还时明确约定“退还后不得再索回”（如聊天记录、录音等证据），可主张对方违反约定：

• 民事角度：若能证明约定存在，可拒绝退回，但需注意：赌博相关的约定因违法而无效，法院可能不会强制执行，但可作为抗辩理由。
• 实践建议：此类约定因违法性难以获得法律保护，建议避免依赖，优先通过合法途径解决。

3. 从实际风险看：退回可能避免更大麻烦

即使法律上无需退回，但考虑以下风险：

• 对方纠缠：若对方持续骚扰或威胁，可能影响生活；
• 行政处罚：若对方举报，公安机关可能以“参与赌博”为由处罚你（即使你是“输家”）；
• 刑事风险：若赌博金额巨大或涉及组织赌博，可能涉嫌犯罪，退还赌资可能被视为“认罪态度”的参考因素。

行动建议

1. 评估金额与风险：若金额较小，建议退回以避免麻烦；若金额巨大，可咨询律师评估具体风险。
2. 保留证据：若选择不退回，需保留对方退还赌资的证据（如转账记录、聊天记录），以备后续争议。
3. 彻底远离赌博：赌博不仅违法，还可能导致财产损失、家庭破裂等严重后果，建议及时止损。

总结：法律上赌资无需退还，但实际中退回可能更稳妥。具体选择需结合金额、对方态度及自身风险承受能力决定。如有进一步疑问，可直接向我咨询具体细节。