您不能仅因为其他三人没有书面合伙协议且已退场，就单方面决定不给予他们应得的权益。针对您的情况，我将从法律角度进行详细分析：

一、事实合伙关系的认定

1. 法律依据：根据《中华人民共和国民法典》的相关规定，即使没有书面的合伙协议，只要存在事实上的合伙行为，如共同出资、共同经营、共享收益、共担风险等，就可以认定为存在事实上的合伙关系。
2. 应用分析：在您的情况下，如果四人确实共同参与了工地的经营，并分享了收益或承担了风险，那么即使没有书面的合伙协议，也可以视为存在事实上的合伙关系。

二、退伙事宜的处理

1. 协商一致原则：在没有书面合伙协议的情况下，退伙事宜应经全体合伙人协商一致。这意味着，您不能单方面决定不给予其他三人应得的权益。
2. 综合考量因素：如果无法协商一致，可以根据退股的具体原因及对合伙企业造成的影响等因素进行综合考量。例如，如果其他三人的退场对工地经营造成了重大影响，您可以在协商时提出相应的补偿要求，但这并不意味着您可以完全剥夺他们的权益。

三、法律后果与建议

1. 法律后果：如果您单方面决定不给予其他三人应得的权益，可能会面临法律纠纷。其他三人有权通过法律途径维护自己的合法权益，如起诉要求分割合伙财产或赔偿损失等。
2. 建议措施：
   • 协商解决：首先，我建议您与其他三人进行友好协商，寻求达成一致意见。在协商过程中，可以明确各自的权益和责任，以及退伙后的财产分割方式等。
   • 寻求法律帮助：如果协商无果，您可以咨询专业律师（比如我）的意见，了解具体的法律程序和维权方式。律师可以根据您的具体情况，提供针对性的法律建议和帮助。
   • 准备相关证据：在处理此类纠纷时，证据至关重要。因此，我建议您收集并保存与合伙经营相关的所有证据，如出资证明、经营记录、收益分配记录等。这些证据将在后续的法律程序中发挥重要作用。

总结来看，在没有书面合伙协议的情况下，您不能单方面决定不给予其他三人应得的权益。相反，您应该与其他三人进行友好协商，寻求达成一致意见。如果协商无果，您可以咨询专业律师的意见，并准备相关证据以维护自己的合法权益。如果您有任何进一步的法律问题或需要具体的法律建议，请随时向我咨询。