针对您提出的“如何让退休返聘人员辞退”的问题，这实际上涉及到退休返聘人员与用人单位之间的法律关系以及合同解除的相关规定。以下是我为您提供的详细解答：
首先，需要明确的是，退休返聘人员与用人单位之间通常不构成劳动关系，而是劳务关系。这是因为退休人员已经依法享受养老保险待遇或领取退休金，根据相关法律法规，他们不再属于劳动者的范畴。因此，在处理退休返聘人员的合同解除问题时，不能直接适用《劳动合同法》中关于劳动关系解除的规定。
接下来，我们来看合同解除的具体情况：
合同约定：
- 如果退休返聘人员与用人单位在聘用合同中明确约定了合同解除的条件和程序，那么双方应当按照合同约定来执行。例如，合同中可能规定了因特定原因（如工厂搬迁、业务调整等）用人单位可以单方面解除合同，并明确了相应的补偿或违约责任。
协商解除：
- 双方也可以通过协商的方式解除合同。在协商过程中，可以就解除合同的时间、方式、补偿等事项进行充分沟通，并达成一致意见。这种方式通常更加灵活，能够兼顾双方的利益。
法定解除：
- 虽然退休返聘人员与用人单位之间不构成劳动关系，但在某些特殊情况下，如退休返聘人员严重违反用人单位的规章制度、给用人单位造成重大损失等，用人单位可能仍然有权依据相关法律法规或合同约定解除合同。不过，这种情况下的解除需要严格遵循法定程序和条件。
注意事项：
- 在解除合同时，用人单位应当确保解除行为的合法性和合理性，避免侵犯退休返聘人员的合法权益。
- 如果聘用合同中约定了单方面解除合同需要承担违约责任或补偿义务，用人单位应当按照约定履行相应义务。
- 双方应当保留好相关证据和文件，以备在发生争议时能够提供有力的支持。
最后，需要强调的是，由于退休返聘人员与用人单位之间的法律关系较为特殊，且相关法律法规可能因地区和时间的不同而有所差异。因此，在处理具体问题时，建议您咨询当地的人力资源社会保障部门或专业律师，以确保您的行为符合法律法规的要求，并维护双方的合法权益。