安全文明施工费是否要扣回，这主要取决于合同的具体约定以及相关法律法规的规定，一般情况下，安全文明施工费不应被扣回。以下从几个方面进行详细分析：

一、安全文明施工费的性质与用途

安全文明施工费，全称安全防护、文明施工措施费，是依据国家现行的建筑施工安全、施工现场环境与卫生标准和有关规定而设立的专项费用。它专门用于购置和更新施工防护用具及设施，改善安全生产条件和作业环境，以保障施工工地的安全和环境文明。此费用具有专款专用的特点，不属于可以随意扣回或挪用的范畴。

二、合同约定的重要性

1. 合同明确约定：如果发承包双方在合同中明确约定了安全文明施工费的支付方式、时间以及是否扣回等条款，那么应优先按照合同约定执行。但需要注意的是，合同约定不得违反法律法规的强制性规定。

2. 合同未明确约定：如果合同中没有明确约定安全文明施工费是否扣回，那么根据相关法律法规和计价规范，安全文明施工费应属于不可竞争费用，应专款专用，不应被扣回。

三、法律法规的规定

根据《建设工程工程量清单计价规范》等规范性文件，安全文明施工费应专款专用，发包人应在工程预付款中按一定比例提前支付，且并未提及可以扣回的情况。同时，《建设工程价款结算暂行办法》也规定了预付款的拨付比例和抵扣方式，但同样未提及预付款中可以扣除安全文明施工费。因此，从法律层面来看，安全文明施工费不应被扣回。

四、实际操作中的建议

1. 审查合同条款：在实际操作中，发承包双方应仔细审查合同条款，明确安全文明施工费的支付方式、时间以及是否扣回等事项，以避免后续纠纷。

2. 遵循法律法规：双方应严格遵守相关法律法规和计价规范，确保安全文明施工费的专款专用，不得随意扣回或挪用。

3. 及时沟通协商：如果在合同履行过程中出现关于安全文明施工费是否扣回的争议，双方应及时沟通协商，寻求妥善解决方案。

总结来说，安全文明施工费一般不应被扣回，除非合同中有明确约定且该约定不违反法律法规的强制性规定。在实际操作中，发承包双方应仔细审查合同条款、遵循法律法规，并在出现争议时及时沟通协商。如果您在建设工程领域遇到任何法律问题，都可以直接向我咨询，我会根据您的具体情况提供专业的法律建议。