退休返聘人员解除合同并不直接属于违规，而是需依据双方签订的劳务合同以及《民法典》的相关规定来确定。

首先，我们要明确退休返聘人员与用人单位之间建立的是劳务关系，而非劳动关系。因此，这一关系的调整并不受《劳动合同法》等相关劳动法律法规的约束，而是主要遵循双方签订的劳务合同以及《民法典》等民事法律的规定。

关于合同的解除，具体分析如下：

1. 有约定从约定：

   • 如果双方在劳务合同中对于合同的解除条件、程序及违约责任等有明确具体的约定，那么应当严格按照合同约定执行。例如，合同中可能规定了解除合同的提前通知期限、特定情形下的解除权等，这些都将直接决定合同的解除方式和后果。

2. 没有约定的法定情形：

   • 在劳务合同没有明确约定解除条件或程序的情况下，可以参考《民法典》中关于合同解除的相关规定。具体来说，包括协商一致解除和法定解除权两种情形。协商一致解除即双方可以通过友好协商，就合同的解除达成一致意见；法定解除权则是在特定情形下，一方或双方可能享有解除权，如因不可抗力导致合同目的无法实现等。

无论是有约定还是无约定的情形，合同解除都应当遵循公平、合理、诚实信用的原则。双方应当尊重对方的合法权益，确保合同的解除过程合法、公正、合理，避免给对方造成不必要的损失或损害。

综上所述，退休返聘人员解除合同是否违规，需根据双方签订的劳务合同的具体内容以及《民法典》的相关规定来判断。如果有任何疑问或需要进一步的法律咨询，请直接向我提问。