结论：贷款购货后银行受托支付，因货物有瑕疵，钱是否可以退回来，这主要取决于货物买卖合同中的具体约定、瑕疵货物的处理方式以及贷款合同的条款，以下分情况讨论：

1. 货物买卖合同中有明确约定：

   • 如果货物买卖合同中明确规定了货物存在瑕疵时的处理方式，比如退货、换货、修理或降价等，并且买方（即您）在发现货物瑕疵后及时通知了卖方，并按照合同约定的程序进行了操作，那么根据合同约定，您有权要求卖方承担相应的责任，包括退款。
   • 在此情况下，由于银行受托支付是基于您的指示将贷款资金直接支付给卖方的，因此，如果卖方同意退款，退款流程通常会涉及银行将资金从卖方账户划转回您的账户。但这一过程需要卖方的配合，以及银行根据相关流程进行操作。

2. 货物买卖合同中无明确约定或约定不明：

   • 如果货物买卖合同中没有明确规定货物存在瑕疵时的处理方式，或者约定不明确，那么根据《中华人民共和国民法典》中关于买卖合同的相关规定，您作为买方有权要求卖方承担违约责任，包括修理、重作、更换、退货、减少价款或者报酬等。
   • 在此情况下，您需要先与卖方协商解决瑕疵货物的问题。如果协商不成，您可以通过法律途径（如诉讼或仲裁）来维护自己的权益。一旦法院或仲裁机构作出有利于您的裁决，您可以要求卖方退款，并涉及银行配合进行资金划转。

3. 贷款合同的影响：

   • 贷款合同是您与银行之间签订的，它规定了贷款的金额、期限、利率以及还款方式等条款。贷款合同的履行与货物买卖合同的履行是相对独立的。
   • 即使货物存在瑕疵，您仍然需要按照贷款合同的约定向银行偿还贷款。但是，如果您因为货物瑕疵问题而成功获得了卖方的退款，那么您可以用这部分退款来偿还银行贷款。
   • 如果货物瑕疵问题导致您无法正常使用货物，进而影响了您的还款能力，您应及时与银行沟通，说明情况，并寻求银行的谅解和支持。在某些情况下，银行可能会根据您的实际情况调整还款计划或提供其他帮助。

建议：

• 在处理此类问题时，建议您首先仔细审查货物买卖合同和贷款合同的条款，了解自己的权利和义务。
• 及时与卖方沟通货物瑕疵问题，并按照合同约定的程序进行操作。如果协商不成，可以考虑通过法律途径来维护自己的权益。
• 同时，与银行保持沟通，说明情况，并寻求银行的配合和支持。

如有任何进一步的问题或需要更具体的法律建议，请直接向我咨询。