退休返聘人员不可以随便辞退。退休返聘人员与用人单位之间通常形成的是劳务关系，而非劳动关系。在劳务关系中，能否辞退需依据双方签订的劳务协议来确定。以下是对此问题的详细分析：

1. 合同约定：若劳务协议中明确约定了辞退条件、程序等内容，当出现符合协议约定的辞退情形时，用人单位可以按约定辞退退休返聘人员。比如，协议中规定若返聘人员严重违反单位规章制度，或不能完成约定工作任务等，用人单位有权辞退。

2. 无约定情况：若劳务协议中未明确约定辞退条件，用人单位随意辞退退休返聘人员可能构成违约，需承担违约责任，如支付违约金或赔偿因违约给返聘人员造成的经济损失。

3. 辞退的合法性：辞退行为需遵循劳务协议约定及相关法律规定。若辞退行为存在不合理、不合法之处，比如基于歧视性原因等，返聘人员可以通过协商、调解或诉讼等途径维护自身权益。

4. 经济补偿：关于退休返聘人员被辞退后是否有经济补偿，需依据劳务合同的具体约定以及辞退行为的合理性、合法性来判断。若合同中明确约定了辞退补偿条款，用人单位应按合同约定执行。若合同未作相关约定，且用人单位基于不合理、不合法的原因辞退返聘人员，返聘人员有权要求用人单位赔偿因违法辞退导致的直接经济损失。

综上所述，用人单位在辞退退休返聘人员时，应谨慎处理，遵循劳务协议约定及相关法律规定，确保辞退行为的合法性和合理性。如有任何疑问或纠纷，建议双方首先通过协商解决；协商不成时，可寻求法律援助或提起诉讼来维护自身权益。