在委托合同纠纷中，责任归属及退款问题需根据具体情况判断，不能一概而论是中间方退款还是诈骗方承担责任。以下从不同角度进行分析：
一、合同履行与违约责任
合同正常履行情况：
- 如果委托合同正常履行，且双方均按照合同约定履行了各自的义务，那么不存在退款或诈骗的问题。合同目的已经实现，双方无需进行额外的退款或赔偿。
合同违约情况：
- 中间方违约：如果中间方（即受托人）未能按照合同约定履行义务，导致委托人（即委托方）遭受损失，那么委托人有权要求中间方承担违约责任，包括退款、赔偿损失等。这种情况下，退款的责任在于中间方。
- 委托人违约：如果委托人未能按照合同约定支付费用或提供必要条件，导致中间方无法履行合同，那么中间方有权要求委托人承担违约责任，包括支付未付费用、赔偿损失等。这种情况下，退款的责任（如果涉及退款的话）可能在于委托人，但通常不是因为诈骗，而是因为违约。
二、诈骗行为的认定
诈骗的定义：
- 诈骗是指以非法占有为目的，用虚构事实或者隐瞒真相的方法，骗取数额较大的公私财物的行为。在委托合同纠纷中，如果一方存在诈骗行为，那么该方将承担刑事责任，并可能面临民事赔偿。
诈骗行为的判断：
- 如果中间方在签订合同时就存在虚构事实或隐瞒真相的行为，且目的是为了骗取委托人的财物，那么中间方的行为可能构成诈骗。在这种情况下，委托人不仅有权要求退款，还有权向公安机关报案，追究中间方的刑事责任。
- 如果委托人误认为中间方存在诈骗行为，但实际上中间方只是履行合同不当或存在其他违约行为，那么不能随意将中间方定性为诈骗方。此时，应通过民事诉讼等途径解决纠纷。
三、法律建议
审查合同条款：
- 在签订委托合同时，双方应仔细审查合同条款，明确各自的权利和义务，以及违约责任和争议解决方式。这有助于在发生纠纷时快速定位问题并寻求解决方案。
保留证据：
- 在合同履行过程中，双方应保留好相关证据，如合同文本、付款凭证、沟通记录等。这些证据在发生纠纷时将起到至关重要的作用。
寻求法律帮助：
- 如果发生委托合同纠纷，且双方无法自行协商解决，建议寻求专业律师的帮助。律师可以根据具体情况分析纠纷性质，提供法律意见，并协助当事人通过诉讼或仲裁等途径解决纠纷。
总结来说，在委托合同纠纷中，退款责任或诈骗责任的归属需根据具体情况判断。如果中间方存在违约行为，那么退款责任在于中间方；如果中间方存在诈骗行为，那么将承担刑事责任和民事赔偿责任。因此，在处理此类纠纷时，应仔细审查合同条款、保留证据，并在必要时寻求法律帮助。如有任何疑问或需要进一步的法律咨询，请直接向我提问。