核心结论：是否需要退钱，需根据钱的性质、来源及双方关系等具体情况综合判断，以下分情况说明：

1. 若该款项属于借款
   根据《民法典》第六百七十五条，借款人应当按照约定的期限返还借款。若对方能证明这笔钱是您向其配偶的借款（如借条、转账备注为“借款”等），则您有义务返还。此时对方作为配偶，可能基于夫妻共同财产管理权要求您还款，您需核实借款事实后处理。

2. 若该款项属于赠与
   根据《民法典》第六百五十七条，赠与合同是赠与人将自己的财产无偿给予受赠人。若款项是您无偿接受对方配偶的赠与（如节日红包、特殊金额转账等），且无欺诈、胁迫等情形，赠与已完成，您无需返还。但需注意：若赠与金额明显超出日常家事代理范围（如大额转账、贵重物品），可能被认定为夫妻共同财产，对方配偶有权以“擅自处分共同财产”为由要求您返还部分或全部款项。

3. 若该款项涉及不当得利
   根据《民法典》第九百八十五条，得利人没有法律根据取得不当利益的，受损失的人可以请求得利人返还。若对方能证明这笔钱是因您错误操作（如误转、重复支付）或您无合法依据取得（如以欺骗手段获取），则您需返还。

4. 若该款项与特殊关系相关（如婚外情）
   若款项是您与对方配偶在婚外情期间的经济往来（如“分手费”“青春损失费”等），此类约定因违背公序良俗无效，对方配偶可能以“夫妻共同财产受损”为由要求返还。司法实践中，法院可能结合款项性质、双方过错等因素，判决部分返还或全部返还。

建议行动步骤：

1. 核实款项性质：梳理转账记录、聊天记录等证据，明确款项是借款、赠与、不当得利还是其他性质；
   
2. 评估对方诉求合理性：若对方主张返还，要求其提供证据（如借条、转账记录、婚姻关系证明等）；
   
3. 协商或诉讼准备：若双方对款项性质无争议，可协商解决；若争议较大，建议保留证据，必要时通过法律途径解决。
   

温馨提示：法律问题需结合具体证据和细节判断，若您对款项性质或对方诉求有疑问，可直接向我描述具体情况（如转账金额、用途、双方关系等），我会进一步为您分析。