企业解除退休返聘人员的劳务协议，一般不需要支付经济补偿金。具体分析如下：

退休返聘人员与用人单位之间建立的是劳务关系，而非劳动关系。劳务关系的解除主要依据双方签订的劳务合同以及《民法典》的相关规定。在劳务合同中，若明确约定了解除协议的条件和补偿方式，则按照合同约定执行。若合同未约定解除补偿条款，一般情况下，用人单位无需向退休返聘人员支付解除合同的经济补偿。

然而，如果用人单位无故解除劳务合同，给退休返聘人员造成损失的，退休返聘人员可以要求用人单位赔偿实际损失。例如，用人单位未按合同提供工作条件，致使返聘人员无法正常工作，返聘人员可以主张赔偿相应损失。

因此，企业在解除退休返聘人员的劳务协议时，应首先查看劳务合同中是否有关于解除补偿的约定，并遵循合同约定执行。若合同未约定，且用人单位无正当理由解除劳务合同，给退休返聘人员造成损失的，用人单位应承担相应的赔偿责任。

如有其他具体法律问题或需要进一步的法律帮助，请直接向我咨询。