退休返聘人员一般不可以随时辞退，且通常不需要支付经济补偿金，但具体情形需根据双方约定及实际情况判断。以下从不同角度为你详细分析：

从法律关系角度

退休返聘人员与用人单位之间建立的是劳务关系，而非劳动关系。劳动关系受《中华人民共和国劳动法》《中华人民共和国劳动合同法》等法律法规的调整，这些法律对劳动者的权益保护较为全面，规定了用人单位在辞退劳动者时需遵循法定程序，并在特定情形下支付经济补偿金。而劳务关系则主要受《中华人民共和国民法典》合同编的调整，双方的权利义务主要依据双方签订的劳务合同来确定。

在劳务关系中，除非双方在劳务合同中明确约定了用人单位可以随时辞退退休返聘人员且无需支付经济补偿金的条款，否则用人单位一般不能随意辞退。如果用人单位违反合同约定辞退退休返聘人员，可能需要承担违约责任，比如支付违约金或赔偿因辞退给退休返聘人员造成的损失。

从合同约定角度

如果双方在劳务合同中明确约定了辞退条件和经济补偿事宜，那么应按照合同约定执行。例如，合同中可能约定在退休返聘人员出现严重违反用人单位规章制度、不能胜任工作等情形时，用人单位可以辞退，且无需支付经济补偿金；也可能约定在某些特定情况下辞退需要支付一定数额的经济补偿金。

假设双方在劳务合同中约定：“若乙方（退休返聘人员）因个人原因无法继续提供劳务，需提前30天通知甲方（用人单位）；若甲方因业务调整需要辞退乙方，需支付乙方一个月劳务报酬作为经济补偿。”在这种情况下，如果甲方没有合理理由随意辞退乙方，就可能需要按照合同约定支付经济补偿金。

从实际履行角度

在实际操作中，即使没有明确的合同约定，用人单位也不能随意辞退退休返聘人员。如果用人单位无正当理由辞退退休返聘人员，退休返聘人员可以通过协商、调解、诉讼等途径维护自己的合法权益。比如，退休返聘人员可以要求用人单位继续履行劳务合同，或者要求用人单位赔偿因辞退给自己造成的损失，如预期的劳务报酬、因寻找新工作产生的合理费用等。

建议：对于退休返聘人员和用人单位来说，在签订劳务合同时，应尽可能明确双方的权利义务，包括辞退条件、经济补偿等内容，以避免后续产生纠纷。如果已经发生了辞退纠纷，双方可以先尝试协商解决；协商不成的，可以向相关的调解组织申请调解；调解不成的，退休返聘人员可以向人民法院提起诉讼。

如果你在退休返聘辞退方面还有其他疑问，或者遇到了具体的纠纷，都可以直接向我咨询。