结论：是否需要返还给施工单位，需根据具体情况判断，主要涉及合同相对性原则、款项性质及用途、是否存在委托付款或债务转移等情况。以下从不同角度进行分析：
一、合同相对性原则下的处理
在货物买卖合同中，合同相对性原则是基本原则之一，即合同的权利义务主要约束合同双方当事人。若买卖合同未实际履行，且卖家将收款过账给实际施工人，这一行为本身并不直接改变买卖合同双方的权利义务关系。
若卖家与施工单位无直接合同关系：
- 卖家无直接义务向施工单位返还款项，因为卖家与施工单位之间不存在直接的合同关系。
- 施工单位若主张返还，需基于其他法律关系（如不当得利、委托付款等）提出请求。
若卖家与施工单位存在间接合同关系或约定：
- 如卖家与施工单位之间存在委托付款、债务转移等约定，且该约定合法有效，则卖家可能需根据约定将款项返还给施工单位或按约定处理。
二、款项性质及用途的考量
款项的性质及用途也是判断是否需要返还的重要因素。
若款项为买卖合同货款：
- 正常情况下，货款应支付给卖家，卖家再根据合同约定或实际履行情况处理。
- 若卖家将货款过账给实际施工人，且该行为未经买方同意或未符合合同约定，卖家可能构成违约，但买方通常无权直接要求返还给施工单位，除非能证明施工单位因此获得了不当利益。
若款项为特定用途资金（如工程款、预付款等）：
- 若买卖合同中明确约定款项用于特定项目（如工程），且卖家将款项过账给实际施工人符合合同目的或双方约定，则可能无需返还给施工单位。
- 若卖家擅自改变款项用途，可能构成违约或侵权，需根据具体情况承担相应责任。
三、存在委托付款或债务转移的情况
委托付款：
- 若卖家与施工单位之间存在委托付款关系，即卖家委托施工单位代为收取款项，且该委托关系合法有效，则卖家将款项过账给实际施工人可能视为履行委托义务，无需返还给施工单位（除非委托关系终止或存在其他约定）。
债务转移：
- 若卖家与买方、施工单位之间达成债务转移协议，即买方将支付货款的义务转移给施工单位，且该协议合法有效，则卖家将款项过账给实际施工人可能视为履行债务转移后的支付义务，无需返还给施工单位。
四、法律建议
审查合同条款：
- 仔细审查买卖合同及相关附件，明确合同双方的权利义务、款项性质及用途、支付方式等关键条款。
收集证据材料：
- 收集与款项支付、过账相关的所有证据材料（如转账记录、收据、合同、协议等），以便在争议发生时提供有力支持。
咨询专业律师：
- 如对款项处理存在疑问或争议，建议及时咨询专业律师，以便根据具体情况制定合适的法律策略。
在处理此类问题时，务必谨慎行事，确保所有行为均符合法律法规及合同约定。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。