若钱已经退回去了，但原配还要求给赔偿费，是否需要赔偿需分情况讨论：

1. 若双方有明确的合同约定：

   • 根据《中华人民共和国民法典》的相关规定，合同是双方意思表示一致的协议，具有法律约束力。如果合同中明确规定了退款后双方的权利义务即告终结，那么原配再要求赔偿费就缺乏合同依据，你可以直接拒绝其赔偿要求。
   • 法律建议：此时，你可以明确告知原配，根据合同约定，退款行为已经使双方的权利义务关系终止，其无权再要求额外的赔偿。如果原配持续纠缠，你可以保留好相关的合同、退款记录等证据，以备不时之需。

2. 若双方没有明确的合同约定，但退款是因为你的违约行为：

   • 在这种情况下，如果原配能够提供证据证明因你的违约行为而遭受了实际损失，比如因退款导致的额外费用支出等，那么其要求赔偿费就有一定的合理性。
   • 法律建议：你可以先与原配进行协商，就赔偿的范围和金额达成一致。如果协商不成，原配有权向法院起诉，此时你应积极应诉，并根据法院的判决来履行赔偿义务。在协商和应诉过程中，你要注重收集证据，以证明自己的立场和观点。

3. 若双方没有明确的合同约定，且退款并非因为你的违约行为：

   • 如果退款并非因为你的违约行为，且原配无法提供证据证明其遭受了实际损失，那么其要求赔偿费就不合理。
   • 法律建议：你可以明确拒绝原配的赔偿要求，并告知其如果继续无理纠缠，你将保留追究其法律责任的权利。如果原配采取威胁、骚扰等不当方式索赔，你可以报警处理，对方可能会因违反《中华人民共和国治安管理处罚法》而受到相应的处罚。

额外提醒：

• 在处理此类纠纷时，保持冷静和理性至关重要。避免与原配发生不必要的冲突和争执，以免加剧矛盾。
• 注重证据的收集和保存。无论是合同、退款记录还是沟通凭证等，都可能成为后续解决纠纷的关键证据。
• 如果对法律程序或相关规定不熟悉，可以寻求专业法律人士的帮助。不过，既然你已经在向我咨询，我会尽我所能为你提供专业的法律建议和支持。

希望以上分析能够对你有所帮助。如果你还有其他问题或需要进一步的法律建议，请随时向我咨询。