结论前置：
详细分析：
在日常生活中，人们可能会因为各种原因进行口头约定，比如“不退钱”这样的表述。然而，从法律的角度来看，单纯的口头表述，尤其是没有具体合同或书面协议支撑的情况下，很难构成具有法律约束力的义务。
口头约定的法律效力
口头约定，在法律上被称为“口头合同”。虽然口头合同在某些情况下是有效的，比如即时清结的交易，但其证明难度较大，且容易引发争议。在涉及金钱退还的问题上，如果仅凭口头表述“不退钱”，而没有其他证据（如书面合同、录音、证人证言等）来支持，那么这一表述很难被法院认定为具有法律约束力的条款。
退款义务的判断依据
退款义务是否成立，主要依据以下几个方面来判断：
合同条款：如果双方签订了书面合同，并且合同中明确规定了退款的条件和方式，那么双方应当按照合同约定来履行。如果合同中没有明确规定，或者规定不明确，那么就需要参考其他法律规定和双方的实际约定。
法律规定：在某些情况下，法律可能规定了特定的退款义务。比如，消费者权益保护法中规定了消费者在一定条件下有权要求退款。如果双方的行为符合这些法律规定，那么退款义务就可能成立。
双方实际约定：除了合同条款和法律规定外，双方的实际约定也是判断退款义务的重要依据。如果双方在交易过程中有明确的口头或书面约定，并且这一约定不违反法律强制性规定，那么双方就应当按照约定来履行。
可能的法律后果
如果一方坚持“不退钱”，而另一方认为应当退款，并且双方无法达成一致意见，那么受损方可以通过法律途径来维护自己的权益。比如，可以向法院提起诉讼，要求对方履行退款义务或者赔偿损失。在诉讼过程中，法院会根据合同条款、法律规定及双方实际约定来判断退款义务是否成立，并作出相应的判决。
建议：为了避免类似的争议和纠纷，建议双方在交易过程中尽量签订书面合同，并明确约定退款的条件和方式。如果确实无法签订书面合同，那么也应当尽量保留其他证据（如录音、证人证言等）来支持自己的主张。如果有任何法律问题或疑虑，可以直接向我咨询。