结论前置：是否需要写协议取决于具体情况，但从法律风险防范和明确双方权利义务的角度出发，建议退钱给原配时签订书面协议。以下从不同角度进行分析：
一、从法律风险防范角度
明确退款性质与金额：签订书面协议可以清晰地约定退款的具体性质（如是否为赔偿、赠与撤销后的返还等）以及退款的具体金额，避免双方在后续产生争议时因记忆模糊或理解不同而产生纠纷。
固定双方意思表示：书面协议能够固定双方在退款事宜上的真实意思表示，防止一方在退款后反悔或提出其他不合理要求。例如，如果退款是基于某种特定原因（如解除某种不当关系后的补偿），书面协议可以明确这一原因，防止对方事后否认。
作为证据使用：在发生争议时，书面协议是证明双方权利义务关系的重要证据。根据《中华人民共和国民事诉讼法》的相关规定，书证是证明案件事实的重要依据之一。因此，签订书面协议有助于在争议解决过程中维护自己的合法权益。
二、从实际操作角度
便于执行：如果双方签订了书面协议，并明确了退款的时间、方式等具体细节，那么在实际执行过程中会更加顺畅。一方可以按照协议约定要求对方履行退款义务，如果对方不履行，还可以依据协议向法院提起诉讼或申请仲裁。
减少沟通成本：书面协议可以明确双方的权利义务，减少因口头约定不明确而产生的沟通成本。双方可以依据协议内容直接履行各自义务，无需再就退款事宜进行反复协商和沟通。
三、特殊情况考虑
如果退款金额较小且双方关系较为信任：在这种情况下，双方可能认为签订书面协议过于繁琐或没有必要。然而，即使金额较小，从法律风险防范的角度出发，签订书面协议仍然是一个明智的选择。因为即使金额不大，一旦发生争议，也可能给双方带来不必要的麻烦和损失。
如果退款涉及复杂法律关系或财产分割：在这种情况下，签订书面协议尤为重要。因为复杂的法律关系或财产分割往往涉及更多的法律问题和争议点，书面协议可以明确双方的权利义务关系，避免在后续处理过程中产生更多的争议和纠纷。
建议：在退钱给原配时，无论金额大小或双方关系如何，都建议签订书面协议。协议内容应包括退款性质、金额、时间、方式等具体细节，并由双方签字确认。如果可能的话，还可以请专业律师对协议进行审查和修改，以确保协议的合法性和有效性。
最后提醒：如果你在退款过程中遇到任何法律问题或需要进一步的法律帮助，请随时向我咨询。作为专注于经济纠纷、合同纠纷领域的专业律师，我将竭诚为你提供专业、全面的法律服务。