关于您提出的“安全文明费预付款要扣回来吗”这一问题，我可以明确地告诉您：预付款中不应扣除安全文明施工费。以下是我为您详细阐述的原因：

首先，我们需要明确预付款和安全文明施工费各自的定义与性质。预付款是业主在合同签订后，根据合同约定或双方协商，提前支付给承包商的一部分工程款项，旨在帮助承包商解决前期资金周转问题，确保工程能够顺利进行。而安全文明施工费，则是依据国家现行的建筑施工安全、施工现场环境与卫生标准和有关规定而设立的专项费用，它专门用于购置和更新施工防护用具及设施，改善安全生产条件和作业环境，以保障施工工地的安全和环境文明。

接下来，我们分析预付款与安全文明施工费之间的关系。从支付目的上看，预付款主要解决的是承包商的前期资金问题，而安全文明施工费则是为了保障施工过程中的安全和环境文明，两者目的截然不同。从支付时间与方式上看，预付款通常在合同签订后的初期支付，而安全文明施工费可能根据工程进度或合同约定的其他方式进行支付。此外，根据相关法规和计价规范，安全文明施工费属于不可竞争费用，应专款专用，这进一步强调了其独立性和专用性。

在实际操作中，如果发承包双方在合同中明确约定了预付款中安全文明施工费的处理方式，那么应优先按照合同约定执行。但需要注意的是，这种约定不得违反法律法规的强制性规定。根据《建设工程工程量清单计价规范》等规范性文件，安全文明施工费应专款专用，发包人应在工程预付款中按一定比例提前支付，但并未提及预付款中可以扣除安全文明施工费的情况。

因此，从法律层面和实践操作来看，预付款中不应扣除安全文明施工费。这样做可以确保承包商能够及时获得资金用于安全文明施工措施的落实，从而保障施工安全和环境。同时，也提醒您在实际操作中应严格按照相关法律法规和合同约定进行处理，以确保各方权益得到妥善保护。

希望以上解答能够对您有所帮助。如果您还有其他问题或需要进一步的解释和说明，请随时告诉我。