单位不可以仅以非施工期为由降低工资。以下从不同角度对此问题进行分析：

法律角度

1. 劳动合同约定：根据《中华人民共和国劳动合同法》的相关规定，劳动合同一旦签订，即具有法律效力，双方应严格履行。工资作为劳动合同的重要组成部分，其数额和支付方式通常会在合同中明确约定。因此，除非劳动合同中有明确约定非施工期可以降低工资，否则单位无权单方面降低工资。

2. 工资支付规定：根据《工资支付暂行规定》等相关法律法规，用人单位应当按照劳动合同约定的工资标准支付劳动者工资，不得随意克扣或降低。非施工期并不构成单位降低工资的合法理由，除非存在法定或约定的特殊情况（如劳动者因个人原因不能提供正常劳动等）。

实际操作角度

1. 单位规章制度：即使单位有内部规章制度规定非施工期可以降低工资，该规章制度也必须符合法律法规的规定，且需经过民主程序制定并公示或告知劳动者。如果规章制度违反法律法规或未经民主程序制定，那么该规章制度对劳动者不具有约束力，单位不能据此降低工资。

2. 协商与沟通：如果单位确实面临经营困难或需要调整工资结构，应与劳动者进行协商并达成一致意见。在协商过程中，单位应充分说明降低工资的原因和必要性，并听取劳动者的意见和建议。如果双方能够达成一致意见，可以签订书面协议对工资进行调整。

法律后果

如果单位未经劳动者同意，仅以非施工期为由降低工资，劳动者有权向劳动监察部门投诉或申请劳动仲裁，要求单位补发工资差额并支付相应的经济补偿。在极端情况下，如果单位的违法行为严重损害了劳动者的合法权益，劳动者还可以考虑解除劳动合同并要求单位支付经济补偿金。

建议：

• 对于劳动者而言，如果单位提出降低工资的要求，应首先查看劳动合同中的相关约定，并了解相关法律法规的规定。如果认为单位的做法不合法或不合理，可以与单位进行协商或向劳动监察部门投诉。
• 对于单位而言，应严格遵守法律法规的规定，不得随意降低劳动者的工资。如果确实需要调整工资结构或降低工资水平，应与劳动者进行充分协商并达成一致意见，以避免不必要的法律纠纷。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。