返聘退休人员不可以随意辞退。退休返聘人员与用人单位之间通常形成的是劳务关系，而非劳动关系。在劳务关系中，能否辞退需依据双方签订的劳务协议来确定。以下是对此问题的详细分析：
依据劳务协议：若劳务协议中明确约定了辞退条件、程序等内容，当出现符合协议约定的辞退情形时，用人单位可以按约定辞退退休返聘人员。例如，协议中约定若返聘人员严重违反单位规章制度或不能完成约定工作任务等，用人单位有权辞退。
不得无故辞退：若没有正当理由，未依据协议约定就随意辞退退休返聘人员，就可能构成违约。返聘人员有权依据协议要求用人单位承担违约责任，比如赔偿因违约造成的经济损失等。
赔偿问题：若劳务合同中明确约定了解雇情形及赔偿标准，应按照合同约定执行。若合同没有相关约定，一般情况下，用人单位无正当理由解雇退休返聘人员，可能需承担违约责任，赔偿退休返聘人员因此遭受的直接经济损失，如未履行工作期间应得的报酬等。
综上所述，退休返聘人员能否被辞退，关键在于劳务协议的具体规定以及辞退行为是否符合该规定。用人单位在辞退退休返聘人员时，应谨慎处理，确保行为合法合规，避免引发不必要的法律纠纷。如有具体法律问题，可直接向我咨询。