在退亲时，如果女方不愿意退还所有钱，首先需要明确款项的性质，然后依据相关法律规定采取协商、调解或诉讼等合适的方式解决。以下是从不同角度给出的详细分析和建议：
款项性质及法律依据
彩礼：
- 彩礼是男方以结婚为目的向女方赠送的财物，通常数额较大。根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条规定，若双方未办理结婚登记手续、办理结婚登记但未共同生活，或婚前给付导致给付人生活困难，当事人可请求返还彩礼。特别注意的是，后两种情况需以双方离婚为条件。
其他赠与款项：
- 恋爱期间的小额财物、特殊节日红包等通常被视为赠与，分手后一般不能要求返还。但如果是以结婚为目的的大额赠与，如购房款、购车款等，在退亲时可以主张返还。
解决途径
协商解决：
- 了解原因：首先尝试与女方及其家人进行坦诚的沟通，了解其不愿意退钱的具体原因。可能是存在某些误解或特殊困难，通过沟通或许能够找到双方都能接受的解决方案。
- 协商解决：在明确原因后，双方可以共同探讨如何解决问题。比如，如果是因为经济困难，可以考虑制定一个分期退款计划；若女方认为有合理支出需要扣除，那么双方可以梳理相关费用，确定合理的退款金额。
第三方调解：
- 亲友介入：如果协商不成，可以邀请双方的共同亲友、长辈或有威望的人士出面调解。这些人在双方之间具有一定的信任基础，能够更好地传达彼此的想法和诉求，促进双方的理解和沟通。
- 基层组织协助：还可以向当地的村委会、居委会等基层组织寻求帮助。这些组织通常对当地的情况比较熟悉，有丰富的调解经验，能够根据具体情况提出合理的建议和解决方案。
诉讼解决：
- 收集证据：如果协商和调解都无法解决问题，那么可能需要通过法律途径来维护自己的权益。在此之前，要注意收集相关的证据，如彩礼支付凭证（转账记录、收据等）、聊天记录、证人证言等，以证明彩礼的存在和支付情况。
- 提起诉讼：根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》的相关规定，符合返还彩礼情形的，可以向法院提起诉讼，要求女方返还彩礼。在诉讼过程中，要遵循法定程序，积极参与开庭审理、举证质证、辩论等环节。
- 执行判决：若法院判决女方返还款项而女方拒不履行，可在判决生效后向法院申请强制执行，包括查询、冻结、划拨银行存款，查封、扣押、拍卖财产等措施。
注意事项
- 在整个过程中，保持冷静和理性至关重要，避免情绪化行为导致矛盾升级。
- 尊重对方的权益，同时也坚决维护自己的合法权益。
- 法律程序可能耗时较长，需做好心理准备，并积极配合法院工作。
最后，建议你在处理此类问题时，根据实际情况选择合适的解决途径，并在必要时寻求专业法律帮助。如果你有任何疑问或需要进一步的法律建议，可以直接向我咨询。