退休返聘人员被辞退是否算违法解除，需分情况讨论：
一、退休返聘关系的法律性质
退休返聘人员与用人单位之间建立的是劳务关系，而非劳动关系。这是因为退休人员已经享受养老保险待遇或领取退休金，不再属于劳动法意义上的“劳动者”。因此，退休返聘关系不受《劳动合同法》的调整，而是适用《民法典》中关于劳务合同的相关规定。
二、辞退退休返聘人员是否违法的判断标准
合同约定优先：
- 如果双方在劳务合同中明确约定了辞退的条件和程序，那么用人单位在辞退退休返聘人员时，应当遵循这些约定。只要用人单位按照合同约定履行了辞退程序，就不构成违法解除。
- 举例：合同中约定“乙方（退休返聘人员）若连续旷工超过3天，甲方（用人单位）有权解除劳务合同”。若乙方确实连续旷工超过3天，甲方依据合同约定辞退乙方，则不违法。
无合同约定或约定不明时的处理：
- 如果双方没有签订劳务合同，或者合同中没有明确约定辞退的条件和程序，那么用人单位在辞退退休返聘人员时，应当遵循诚实信用原则和公平原则，不得无故辞退。
- 判断标准：用人单位辞退退休返聘人员是否有合理理由，如退休返聘人员是否存在严重违反用人单位规章制度、不能胜任工作等情形。若用人单位无法提供合理理由，则可能构成违法解除。
三、违法解除的法律后果
如果用人单位违法解除与退休返聘人员的劳务合同，退休返聘人员无法依据《劳动合同法》主张经济补偿或赔偿金（因为劳务关系不受《劳动合同法》调整）。但是，退休返聘人员可以依据《民法典》的相关规定，要求用人单位承担违约责任或赔偿损失。
- 违约责任：如果劳务合同中约定了违约责任条款，如“任何一方违反本合同约定，应向对方支付违约金XX元”，则退休返聘人员可以要求用人单位支付违约金。
- 赔偿损失：如果用人单位的违法解除行为给退休返聘人员造成了实际损失（如工资损失、福利损失等），退休返聘人员可以要求用人单位赔偿这些损失。
四、建议
对退休返聘人员的建议：
- 在签订劳务合同时，务必明确约定辞退的条件和程序，以及违约责任条款，以保障自己的合法权益。
- 在工作过程中，遵守用人单位的规章制度，认真履行工作职责，避免给用人单位留下辞退的借口。
对用人单位的建议：
- 在辞退退休返聘人员时，务必遵循合同约定或诚实信用原则、公平原则，确保辞退行为的合法性。
- 如果确实需要辞退退休返聘人员，建议提前与退休返聘人员进行沟通协商，尽量达成一致意见，避免引发不必要的法律纠纷。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。