离退休还有四年且工作二十年的劳动者，其劳动合同在一定条件下是可以解除的。下面我将从劳动者和用人单位两个角度，详细解释这一结论。

劳动者解除劳动合同的权利

劳动者在任何时候都有权依法解除劳动合同。具体来说：

• 一般情况：劳动者只需提前三十日以书面形式通知用人单位，即可解除劳动合同。这一权利不受距离退休年龄的限制。

用人单位解除劳动合同的条件

对于离退休还有四年且工作二十年的劳动者，用人单位在解除劳动合同时需要遵循一定的规定：

• 一般限制：根据《劳动合同法》第四十二条，对于在本单位连续工作满十五年，且距法定退休年龄不足五年的劳动者，用人单位不得依照《劳动合同法》第四十条（无过失性辞退）、第四十一条（经济性裁员）的规定解除劳动合同。这意味着，在一般情况下，用人单位不能因劳动者的工作能力、岗位调整或经济性原因而解除其劳动合同。
• 特殊情形：然而，即使劳动者距离退休不足四年，若存在《劳动合同法》第三十九条规定的严重违规情形，如严重违反用人单位规章制度、严重失职给用人单位造成重大损害等，用人单位仍有权解除劳动合同且无需支付经济补偿。

总结与建议

综上所述，离退休还有四年且工作二十年的劳动者，在一般情况下享有劳动合同解除的保护，但并非绝对不可解除。用人单位在特定条件下仍可行使解除权，而劳动者也保留了解除劳动合同的自由。

对于劳动者而言，应了解自己的权益和解除劳动合同的权利，同时在工作中遵守规章制度，避免给用人单位造成损失或违规情形。

对于用人单位而言，在解除劳动合同时应严格遵守法律法规，确保解除行为的合法性和合规性。若需解除劳动合同，应提前与劳动者沟通并协商解决方案，以避免潜在的法律风险。

如有任何具体的法律问题或需要进一步的法律建议，请随时向我咨询。