结论：在借用资质的一方未实际施工的情况下，退还工程款的责任主要取决于合同效力、各方过错程度以及实际施工情况等多个因素。以下是从不同角度进行的详细分析：
一、合同效力与责任承担
合同无效情形：
- 如果借用资质的行为违反了法律法规的强制性规定（如建筑法中关于施工资质的规定），那么该合同可能被认定为无效。
- 在合同无效的情况下，根据《民法典》的相关规定，因合同取得的财产应当予以返还。因此，如果借用资质的一方未实际施工，且合同被认定为无效，那么其应当退还已收取的工程款。
合同有效但存在违约情形：
- 如果合同本身有效，但借用资质的一方未按照合同约定进行施工，构成违约，那么其应当承担违约责任。
- 在这种情况下，退还工程款的责任可能取决于违约的具体情形和合同中的相关条款。如果合同中明确规定了违约时需退还工程款，那么借用资质的一方应当按照合同约定执行。
二、各方过错程度与责任分担
借用资质方的过错：
- 借用资质方未实际施工，可能构成对出借资质方和发包方的违约或欺诈。
- 如果借用资质方存在过错，如故意隐瞒未施工的情况或拒绝履行合同义务，那么其应当承担相应的法律责任，包括退还工程款。
出借资质方的过错：
- 出借资质方如果明知或应知借用资质方未实际施工而未采取措施，也可能承担一定的法律责任。
- 在某些情况下，出借资质方可能因与借用资质方共同实施违法行为而承担连带责任。
发包方的过错：
- 如果发包方在合同签订或履行过程中存在过错，如未对施工资质进行严格审查或未及时发现借用资质方未施工的情况，也可能影响责任的分担。
三、实际施工情况与工程款退还
未实际施工的情形：
- 如果借用资质方确实未进行任何施工活动，且没有合理的解释或证据表明其曾试图履行合同义务，那么其应当退还已收取的工程款。
部分施工或准备施工的情形：
- 如果借用资质方已经进行了部分施工或准备了施工所需的材料、设备等，但因某种原因未能继续施工，那么退还工程款的责任可能需要根据实际情况进行协商或判决。
- 在这种情况下，可能需要考虑借用资质方已经投入的成本、发包方因此遭受的损失以及合同中的相关条款等因素。
四、法律建议与后续行动
收集证据：
- 如果涉及工程款退还纠纷，各方应当积极收集相关证据，如合同、付款凭证、施工记录、沟通记录等，以证明自己的主张。
协商解决：
- 在纠纷发生后，各方可以尝试通过协商的方式解决争议，以节省时间和成本。
法律途径：
- 如果协商无果，各方可以向法院提起诉讼或申请仲裁，以维护自己的合法权益。
最后，借用资质的一方未实际施工时退还工程款的责任是一个复杂的问题，需要根据具体情况进行综合分析。如果你或你身边的人遇到类似问题，可以直接向我咨询，我会根据你的具体情况提供详细的法律建议。