退休返聘人员的违法行为是否由单位纪委管理，需分情况讨论：

1. 退休返聘人员的法律身份
   退休返聘人员与单位之间通常形成的是劳务关系，而非劳动关系。这意味着他们不受《劳动合同法》等劳动法律法规的直接保护，双方的权利义务主要通过劳务合同约定。因此，单位纪委对退休返聘人员的管理权限，首先取决于劳务合同中的具体约定以及单位内部的管理制度。

2. 单位纪委的职责范围
   单位纪委主要负责监督单位内部党员干部的纪律执行情况，以及处理违反党纪、政纪的行为。对于退休返聘人员，如果其不是党员，或者其违法行为不涉及党纪、政纪，那么单位纪委通常不会直接介入管理。但如果退休返聘人员是党员，且其违法行为涉及党纪、政纪，单位纪委则有权根据相关规定进行调查和处理。

3. 违法行为的性质与处理

   • 如果违法行为涉及刑事犯罪：无论退休返聘人员是否为党员，单位都应及时向公安机关报案，由司法机关依法处理。单位纪委可以配合司法机关进行调查，但并非直接管理者。
   • 如果违法行为仅违反单位内部规定：如违反工作纪律、职业道德等，单位可以根据劳务合同或内部管理制度进行处理，如警告、罚款、解除劳务合同等。这种情况下，单位纪委可能不直接参与，但如果是党员且涉及党纪，纪委会介入。
   • 如果违法行为涉及民事纠纷：如因工作造成他人损害等，通常需要通过民事诉讼途径解决，单位纪委一般不直接处理。

4. 实际操作中的建议

   • 明确劳务合同内容：单位在与退休返聘人员签订劳务合同时，应明确双方的权利义务，包括对违法行为的处理方式，以减少纠纷。
   • 完善内部管理制度：单位应制定完善的内部管理制度，明确对退休返聘人员的管理要求，以及违法行为的处理流程。
   • 加强沟通与教育：单位应加强对退休返聘人员的法律教育和职业道德教育，提高其法律意识，减少违法行为的发生。

总结来说，单位纪委对退休返聘人员违法行为的管理并非绝对，而是取决于违法行为的性质、退休返聘人员的身份以及单位内部的管理制度。如果遇到具体问题，建议根据实际情况咨询专业律师，以便更准确地把握法律界限和处理方式。如有任何疑问，可以直接向我咨询，我会根据你的具体情况提供详细的法律建议。