如果明知你有困难，对方仍不肯退钱，你可以通过法律途径来维护自己的权益。具体分析如下：
一. 对方不退钱构成违约
- 法律依据：根据《中华人民共和国民法典》第五百七十七条，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。在此情况下，对方不肯退钱即构成不履行合同义务，你可以要求其承担违约责任。
- 实际应用：你可以首先尝试与对方协商，要求对方退还钱款。如果对方拒绝，你可以保存相关证据，如聊天记录、转账记录等，以备后续法律程序使用。
二. 采取法律措施
- 提起诉讼：根据《中华人民共和国民事诉讼法》第三条，你可以向人民法院提起民事诉讼，要求对方退还钱款并承担相应的违约责任。在提起诉讼前，请确保你已收集足够的证据来支持你的主张。
- 申请强制执行：如果你已经获得了法院的判决或裁定，但对方仍不履行退款义务，你可以根据《中华人民共和国民事诉讼法》第二百六十条的规定，向人民法院申请强制执行。法院将有权采取多种强制措施，如冻结银行账户、查封财产等，以迫使对方履行退款义务。
三. 我的建议
- 在采取法律措施之前，建议再次尝试与对方进行沟通，以和平解决纠纷。
- 如果决定提起诉讼，请务必咨询专业律师（在本案例中即我），以确保你的诉讼请求和证据符合法律要求。
- 保留所有与对方交易和沟通相关的证据，以备不时之需。
如有进一步需要，您可以继续咨询我。