用人单位一般不可以随意解除与在劳务派遣岗位工作20年的劳动者的合同，但特定情形下可以依法解除。以下分情况详细说明：

一、合法解除的情形

1. 劳动者存在过错
   • 根据《劳动合同法》第六十五条第二款规定，被派遣劳动者有本法第三十九条和第四十条第一项、第二项规定情形的，用工单位可以将劳动者退回劳务派遣单位，劳务派遣单位依照本法有关规定，可以与劳动者解除劳动合同。
   • 其中第三十九条列举了劳动者过错情形，比如严重违反用人单位的规章制度的；严重失职，营私舞弊，给用人单位造成重大损害的；劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出，拒不改正的；以欺诈、胁迫的手段或者乘人之危，使对方在违背真实意思的情况下订立或者变更劳动合同，致使劳动合同无效的；被依法追究刑事责任的等。如果劳动者存在这些过错，即便工作了20年，劳务派遣单位也可以依法解除劳动合同。
2. 劳动者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作
   • 依据《劳动合同法》第四十条第二项，劳动者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作的，用人单位提前三十日以书面形式通知劳动者本人或者额外支付劳动者一个月工资后，可以解除劳动合同。在劳务派遣关系中，用工单位可将劳动者退回，劳务派遣单位可据此解除合同。不过对于在单位工作20年的老员工，用人单位在操作时要更加谨慎，确保程序合法、证据充分，比如要有明确的考核标准、培训记录等证明劳动者确实不能胜任工作。
3. 劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，经用人单位与劳动者协商，未能就变更劳动合同内容达成协议
   • 例如因政策调整、企业搬迁、业务重大调整等客观情况变化，导致原劳务派遣岗位不存在，且无法为劳动者安排其他合适岗位，经与劳动者协商变更合同内容无法达成一致时，劳务派遣单位可以解除劳动合同。但同样要履行相应的协商程序，并保留好相关证据。

二、违法解除的情形及后果

如果用人单位没有上述合法理由，随意解除与在劳务派遣岗位工作20年的劳动者的劳动合同，就属于违法解除。根据《劳动合同法》第八十七条规定，用人单位违反本法规定解除或者终止劳动合同的，应当依照本法第四十七条规定的经济补偿标准的二倍向劳动者支付赔偿金。

经济补偿按劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。劳动者月工资高于用人单位所在直辖市、设区的市级人民政府公布的本地区上年度职工月平均工资三倍的，向其支付经济补偿的标准按职工月平均工资三倍的数额支付，向其支付经济补偿的年限最高不超过十二年。所以对于工作20年的劳动者，违法解除的赔偿数额是比较高的。

如果你在劳务派遣工作中遇到用人单位解除合同相关问题，可以直接向我咨询。