质保金退回施工单位的时间主要取决于合同约定以及工程是否通过竣工验收且无质量问题，具体分析如下：

1. 合同有明确约定的情况：

   • 如果建设工程施工合同中明确约定了质保金的退还时间、条件及方式，那么应当按照合同约定执行。例如，合同可能规定在工程竣工验收合格后一定期限内（如一年、两年等），且无质量问题的情况下，发包人应退还质保金给施工单位。
   • 法律依据：根据《中华人民共和国民法典》第五百零九条，当事人应当按照约定全面履行自己的义务。因此，合同中的约定对双方具有法律约束力。

2. 合同无明确约定或约定不明的情况：

   • 如果合同中没有明确约定质保金的退还时间或约定不明，那么可以根据相关法律法规及行业惯例来推断。一般来说，质保金的退还时间应与工程的保修期相匹配，即质保金应在保修期满且无质量问题后退还。
   • 保修期规定：根据《建设工程质量管理条例》第四十条，在正常使用条件下，建设工程的最低保修期限为：（一）基础设施工程、房屋建筑的地基基础工程和主体结构工程，为设计文件规定的该工程的合理使用年限；（二）屋面防水工程、有防水要求的卫生间、房间和外墙面的防渗漏，为5年；（三）供热与供冷系统，为2个采暖期、供冷期；（四）电气管线、给排水管道、设备安装和装修工程，为2年。其他项目的保修期限由发包方与承包方约定。因此，质保金的退还时间通常不会早于这些保修期限的结束。

3. 特殊情况下的处理：

   • 如果工程在保修期内出现质量问题，施工单位有义务进行维修。在维修完成并经验收合格后，质保金的退还时间可能会相应顺延，以确保工程质量得到保障。
   • 如果因施工单位原因导致工程无法按时竣工验收或存在严重质量问题，发包人有权根据合同约定或相关法律法规扣除部分或全部质保金。

建议：

• 施工单位在签订合同时，应仔细审查合同中关于质保金的条款，确保条款明确、合理，并符合相关法律法规的规定。
• 在工程竣工验收后，施工单位应及时与发包人沟通质保金的退还事宜，并保留好相关证据（如竣工验收报告、维修记录等），以备不时之需。
• 如果发生质保金退还纠纷，施工单位可以寻求法律途径解决，通过诉讼或仲裁等方式维护自己的合法权益。

如有更多关于建设工程质保金退还或其他相关法律问题，可以直接向我咨询。