工程质量保证金应当返还给承包人，但具体返还时间和条件需依据合同约定及相关法律法规来确定。以下是对此问题的详细分析：
一、返还的基本原则
工程质量保证金是发包人为了确保承包人在缺陷责任期内对建设工程出现的缺陷进行维修，而从应付的工程款中预留的资金。当缺陷责任期满，且承包人已经履行了保修义务（如有）后，发包人应当返还质量保证金。这一原则体现了合同双方的权利义务对等性，即承包人完成了其应尽的维修责任，发包人则应返还相应的保证金。
二、返还时间的确定
合同约定优先：
- 发承包双方应在建设工程施工合同中明确质量保证金的返还期限。合同约定的返还时间具有优先效力，双方必须严格履行。例如，合同可能规定在工程竣工验收合格后1年或2年内返还质量保证金。
无约定或约定不明时的处理：
- 若合同未约定或约定不明确，根据《最高人民法院关于审理建设工程施工合同纠纷案件适用法律问题的解释（一）》的相关规定，自建设工程通过竣工验收之日起满二年，承包人有权请求发包人返还工程质量保证金。
- 因发包人原因导致工程未按约定期限进行竣工验收的，自承包人提交工程竣工验收报告九十日后，按当事人约定的工程质量保证金返还期限届满；若未约定返还期限，则自提交报告九十日后起满二年，承包人可请求返还。
三、返还条件与流程
返还条件：
- 工程无质量问题或承包人已完成维修义务。这是返还质量保证金的基本前提。
- 如有质量问题且承包人未履行维修责任，发包人有权扣除相应维修费用后，再返还剩余的质量保证金。
返还流程：
- 承包人在缺陷责任期内认真履行合同责任后，向发包人申请返还保证金。
- 发包人在接到申请后14日内，会同承包人按合同内容进行核实。核实无误后，发包人应在核实后14日内返还保证金。
- 若逾期未返还，发包人需承担违约责任，包括支付逾期利息。
四、特殊情况下的处理
工程未经验收但发包人擅自使用：
- 若建设工程未经竣工验收而发包人擅自使用，则以转移占有建设工程之日为竣工日期，并据此结合合同约定或法律规定确定质量保证金的返还时间。
缺陷责任期提前终止：
- 如承包人在缺陷责任期内已完成全部缺陷修复工作，并经发包人或其委托的监理人验收确认，缺陷责任期可提前终止。此时，发包人应按合同约定程序和时间返还质量保证金。
五、实操建议
- 合同签订：在签订合同时，双方应明确约定质量保证金的预留比例、返还期限、方式及扣除情形等关键条款，以避免后续产生争议。
- 保修义务：承包人应确保在缺陷责任期内认真履行保修义务，以确保能够及时获得质量保证金的返还。
- 纠纷解决：如遇纠纷，双方应首先通过友好协商解决；协商不成时，可依法向有管辖权的人民法院提起诉讼或申请仲裁。
综上所述，工程质量保证金的返还涉及多个法律知识点和合同条款的约定。在实际操作中，双方应严格遵守相关法律法规和合同约定，确保质量保证金的及时、合理返还。如果您在工程质量保证金返还方面遇到任何问题或需要进一步的法律帮助，请随时向我咨询。