用人单位在符合法定条件或约定条件的情况下，可以清退人事代理人员，但必须遵循严格的法律程序和规定。以下是对这一问题的详细分析：
一、人事代理的法律性质
人事代理是一种人事管理制度，通常涉及用人单位与人事代理机构之间的委托关系，以及人事代理机构与被代理人员之间的劳动关系或劳务关系。在这种制度下，用人单位通过人事代理机构来管理部分或全部人事事务，包括招聘、培训、薪酬发放、社保缴纳等。
二、用人单位清退人事代理的合法性
合同约定：
- 如果用人单位与人事代理机构之间的合同中明确约定了清退的条件和程序，且这些条件和程序不违反法律法规的强制性规定，那么用人单位在符合这些条件时可以清退人事代理人员。
法律法规：
- 根据《中华人民共和国劳动合同法》等相关法律法规，用人单位在解除或终止劳动合同时，必须遵循法定程序和条件。对于人事代理人员，如果其与人事代理机构之间存在劳动关系，那么用人单位的清退行为实际上是通过人事代理机构来间接实现的，但仍需确保符合法律法规的规定。
- 如果人事代理人员与用人单位直接签订了劳动合同（尽管这种情况较为少见），那么用人单位在清退时必须直接遵循《中华人民共和国劳动合同法》的相关规定，如提前通知、支付经济补偿等。
代理协议内容：
- 人事代理协议中可能包含关于清退的条款，如代理期限、代理事项、双方权利义务、违约责任等。如果协议中明确规定了清退的条件和程序，且这些条件和程序合法合规，那么用人单位在符合这些条件时可以依据协议清退人事代理人员。
三、清退人事代理的程序和注意事项
程序合法：
- 用人单位在清退人事代理人员时，必须确保程序合法，包括提前通知、听取意见、办理离职手续等。如果程序不合法，可能会引发劳动争议或法律纠纷。
经济补偿：
- 根据《中华人民共和国劳动合同法》的规定，用人单位在解除或终止劳动合同时，可能需要向劳动者支付经济补偿。对于人事代理人员，如果其与人事代理机构之间存在劳动关系，且符合支付经济补偿的条件，那么用人单位可能需要通过人事代理机构来支付这笔费用。
避免歧视和不当行为：
- 用人单位在清退人事代理人员时，必须避免歧视和不当行为，如因性别、年龄、种族、宗教信仰等因素而清退人员。这些行为可能违反法律法规的强制性规定，并引发法律纠纷。
四、实际案例与法律建议
- 实际案例：在实际操作中，因清退人事代理人员而引发的劳动争议并不少见。这些争议往往涉及合同解除的合法性、经济补偿的支付、程序是否合法等问题。因此，用人单位在清退人事代理人员时必须谨慎行事，确保符合法律法规和合同约定。
- 法律建议：为了降低法律风险，用人单位在清退人事代理人员前，应仔细审查与人事代理机构之间的合同以及人事代理协议中的相关条款，确保清退行为合法合规。同时，用人单位还应与人事代理机构密切沟通，共同制定合理的清退方案，并确保方案得到被代理人员的理解和接受。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。我将根据您的具体情况，提供更为详细和专业的法律建议。