已付工程款能否退回及未付工程款的处理，需视工程质量不合格的原因及合同约定而定。以下从不同角度进行分析：
一、工程质量不合格的原因及责任归属
承包方责任：
- 若工程质量不合格是由于承包方未按合同约定施工、使用不合格材料或工艺等原因造成的，根据《中华人民共和国民法典》及相关司法解释，发包方有权要求承包方承担修复、返工等责任，并有权拒绝支付剩余工程款。
- 在极端情况下，如工程质量严重不合格且无法修复，或修复成本过高，发包方可能主张解除合同，并要求承包方返还已支付的工程款。但这一主张需通过法律程序确认，且需考虑已施工部分的合理价值。
发包方责任：
- 若工程质量不合格是由于发包方提供的图纸、设计、材料等存在缺陷，或发包方在施工过程中提出不合理变更导致的，承包方可能不承担责任。
- 在此情况下，发包方无权要求承包方返还已支付的工程款，且仍需按合同约定支付剩余工程款。但承包方需配合发包方进行必要的修复或调整工作。
双方共同责任：
- 若工程质量不合格是由于双方共同原因造成的，如设计变更与施工配合不当等，双方需根据各自责任比例承担相应责任。
- 在此情况下，已付工程款的处理需根据双方协商或法律程序确定，未付工程款则需根据修复后的工程质量及合同约定进行支付。
二、合同约定及法律程序
合同约定：
- 双方应在合同中明确工程质量标准、验收程序、违约责任等条款。若合同中有关于工程质量不合格时已付工程款处理及未付工程款支付的明确约定，应优先按照合同约定执行。
法律程序：
- 若双方无法就工程质量不合格及工程款支付问题达成一致，可通过法律程序解决。发包方可以起诉承包方要求承担修复责任、返还已付工程款或支付违约金等；承包方也可以起诉发包方要求支付剩余工程款。
- 在法律程序中，法院或仲裁机构将根据双方提供的证据、合同约定及法律规定进行裁决。
三、实际操作建议
收集证据：
- 双方应尽快收集与工程质量不合格相关的证据，如施工记录、材料检测报告、验收报告等。
协商解决：
- 在证据充分的基础上，双方可尝试通过协商解决争议。协商过程中可邀请第三方机构进行工程质量评估或调解。
法律途径：
- 若协商无果，双方应及时通过法律途径解决争议。在起诉或申请仲裁前，建议咨询专业律师以制定合适的诉讼策略。
具体到您的案例，若工程质量不合格是由于承包方责任造成的，且您作为发包方已支付部分工程款，您有权要求承包方承担修复责任，并可根据实际情况考虑是否要求返还部分已付工程款。对于未付工程款，您有权拒绝支付直至工程质量达到合同约定标准。但具体操作需根据合同约定及法律规定进行，并建议通过法律程序确认双方权利义务。如有进一步疑问或需要法律帮助，请直接向我咨询。