在单位工作20年且签了无固定期限合同的情况下，单位并非绝对不能辞退你，但辞退必须符合法律规定的情形。以下从不同角度为您详细分析：

一、员工存在过错时，单位可单方解除劳动合同

根据《中华人民共和国劳动合同法》第三十九条，若员工存在以下情形之一，用人单位可以解除劳动合同，且无需支付经济补偿：

1. 严重违反用人单位的规章制度：例如，员工多次旷工、迟到早退，或者违反公司其他重要规定，且情节严重。
2. 严重失职，营私舞弊，给用人单位造成重大损害：比如，员工因疏忽大意导致公司重大经济损失，或者利用职务之便谋取私利。
3. 同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出，拒不改正：若员工在兼职过程中影响了本职工作，且拒绝改正，单位有权辞退。
4. 被依法追究刑事责任：如员工因犯罪行为被判处刑罚。

二、员工无过错但因特定客观原因无法胜任工作时，单位可解除劳动合同

根据《中华人民共和国劳动合同法》第四十条，若员工无过错，但因以下原因无法胜任工作，单位提前三十日以书面形式通知劳动者本人或者额外支付劳动者一个月工资后，可以解除劳动合同，并需支付经济补偿：

1. 患病或非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用人单位另行安排的工作：例如，员工因长期患病无法继续从事原岗位工作，且无法适应公司安排的其他岗位。
2. 不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作：若员工因技能不足或态度问题无法胜任工作，且经过培训或调岗后仍无法改善，单位有权辞退。

三、企业因经济性裁员时，可辞退员工

根据《中华人民共和国劳动合同法》第四十一条，企业因生产经营发生严重困难等原因需要裁员时，可以辞退员工，但需符合法定程序和条件，如提前向工会或者全体职工说明情况，听取工会或者职工的意见后，裁减人员方案经向劳动行政部门报告等，并需支付经济补偿。经济补偿按劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付。对于工作20年的员工，单位需支付20个月工资作为经济补偿。

四、特殊保护情形

若员工在本单位连续工作满十五年，且距法定退休年龄不足五年，根据《中华人民共和国劳动合同法》第四十二条，用人单位不得依照本法第四十条、第四十一条的规定解除劳动合同。这意味着，对于工作20年且符合此条件的员工，单位不能以员工不能胜任工作、客观情况发生重大变化等理由，或进行经济性裁员时辞退。

五、单位违法辞退的法律后果

若单位违法辞退签有无固定期限合同的员工，员工可要求单位继续履行劳动合同，或要求单位支付赔偿金。赔偿金标准为经济补偿标准的二倍，即对于工作20年的员工，若被违法辞退，可要求单位支付40个月工资作为赔偿金。

建议：作为员工，您应了解自己的权益，并在必要时寻求法律帮助。若单位提出辞退，您可要求单位出具书面辞退通知，并明确辞退理由。若您认为辞退决定违法或不合理，可通过劳动仲裁等途径维护自己的权益。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。