差额保证金通常在特定的合同条款或工程项目完成后，根据合同的约定退还给施工方。具体来说：
一、差额保证金退还的一般原则
差额保证金是为了确保施工方能够按照合同约定完成工程而设立的一种保证金。在工程款纠纷中，差额保证金的退还通常与工程的完成度、质量验收以及合同约定的其他条件密切相关。一般来说，当施工方按照合同约定完成了工程，并且工程通过了质量验收，同时没有其他违约行为时，差额保证金应当予以退还。
二、差额保证金退还的具体时间
工程竣工验收合格后：这是最常见的差额保证金退还时间。当工程全部完工并通过了竣工验收，且施工方没有违反合同约定的其他条款时，发包方应当按照合同约定退还差额保证金。
合同约定的其他时间：有些合同中可能会约定特定的退还时间，如工程完成到一定阶段、双方达成特定协议时等。在这种情况下，差额保证金的退还时间将依据合同的约定执行。
争议解决后：如果在工程款支付过程中发生争议，差额保证金的退还可能会受到争议解决进程的影响。通常，在争议得到妥善解决，并且施工方被确认没有违约行为后，差额保证金才会被退还。
三、差额保证金退还的注意事项
检查合同条款：施工方在主张退还差额保证金时，应首先仔细检查合同条款，确保自己符合退还条件，并了解具体的退还流程和时间。
与发包方沟通：在申请退还差额保证金前，与发包方进行充分沟通，明确退还的意愿和条件，有助于加快退还进程。
保留相关证据：施工方应妥善保留与工程完成度、质量验收以及合同履行情况相关的证据，以备在退还差额保证金时可能出现的争议。
综上所述，差额保证金的退还时间主要取决于合同的约定以及工程的完成情况。施工方在主张退还时，应仔细检查合同条款，与发包方充分沟通，并妥善保留相关证据。如有任何疑问或争议，建议及时咨询专业律师以获取法律帮助。