政府单位与聘用人员签订了20年的聘用合同，在符合法定条件或双方协商一致的情况下，是可以解除聘用关系的。以下从不同角度为您详细分析：
一、法定解除条件
根据《中华人民共和国劳动合同法》的相关规定，无论是政府单位还是其他用人单位，与劳动者签订的劳动合同（包括聘用合同），在符合以下法定条件时，可以解除：
劳动者过错：
- 劳动者在试用期间被证明不符合录用条件的；
- 劳动者严重违反用人单位的规章制度的；
- 劳动者严重失职，营私舞弊，给用人单位造成重大损害的；
- 劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出，拒不改正的；
- 劳动者以欺诈、胁迫的手段或者乘人之危，使用人单位在违背真实意思的情况下订立或者变更劳动合同的；
- 劳动者被依法追究刑事责任的。
用人单位经济性裁员：
- 依照企业破产法规定进行重整的；
- 生产经营发生严重困难的；
- 企业转产、重大技术革新或者经营方式调整，经变更劳动合同后，仍需裁减人员的；
- 其他因劳动合同订立时所依据的客观经济情况发生重大变化，致使劳动合同无法履行的。
其他法定情形：
- 劳动者患病或者非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用人单位另行安排的工作的；
- 劳动者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作的；
- 劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，经用人单位与劳动者协商，未能就变更劳动合同内容达成协议的。
二、双方协商一致解除
除了法定解除条件外，政府单位与聘用人员还可以通过协商一致的方式解除聘用合同。这种方式更加灵活，不受法定解除条件的限制，只要双方达成一致意见，即可解除合同。
三、解除聘用合同的程序与后果
程序：
- 无论是法定解除还是协商一致解除，政府单位都应当按照法定程序进行，如提前通知劳动者、支付经济补偿金（如适用）等。
- 解除聘用合同应当出具解除劳动合同的证明，并在十五日内为劳动者办理档案和社会保险关系转移手续。
后果：
- 解除聘用合同后，政府单位与聘用人员之间的劳动关系即告终止。
- 如果解除合同是由于政府单位的过错导致的，如违法解除劳动合同，政府单位可能需要支付赔偿金给劳动者。
- 如果解除合同是由于劳动者的过错导致的，如严重违反规章制度，政府单位可能不需要支付经济补偿金或赔偿金。
四、特殊情况下的解除限制
对于某些特殊岗位的聘用人员，如涉及国家秘密或重要公务的，政府单位在解除聘用合同时可能需要遵守更加严格的程序和规定，以确保国家安全和公务的顺利进行。
总结与建议：
政府单位与聘用人员签订了20年的聘用合同，并不意味着合同不能解除。在符合法定条件或双方协商一致的情况下，政府单位可以依法解除聘用合同。但需要注意的是，解除合同应当遵循法定程序和规定，以避免引发不必要的法律纠纷。如果您在解除聘用合同过程中遇到任何问题或需要进一步的法律帮助，请随时向我咨询。