结论：若不想录用已离职但希望回来上班的老员工，用人单位需依据合法、合理的程序及理由进行处理，避免违法解除或歧视性用工行为，具体可从以下角度分析并操作。

1. 核查原劳动合同状态及解除原因

• 若原合同已合法解除：需确认离职时是否已办理终止手续、支付经济补偿（如有）。若原解除合法，现拒绝录用不涉及违法，但需避免因性别、年龄、地域等歧视性理由拒绝，否则可能构成就业歧视。
• 若原解除存在争议：如员工主张原解除违法（如未支付补偿、程序违法），需先解决原纠纷。若原解除被认定违法，员工有权要求恢复劳动关系，此时拒绝录用可能面临败诉风险。

2. 明确拒绝录用的合法理由

• 岗位调整或撤销：若原岗位已不存在或公司组织架构调整，需提供客观证据（如部门裁撤文件、岗位编制表），并遵循《劳动合同法》第40条第3款“客观情况发生重大变化”的程序，与员工协商变更合同或支付补偿后解除。
• 员工不符合录用条件：若设定了明确的录用标准（如学历、技能、健康要求），需证明员工当前不符合条件，并保留考核记录、体检报告等证据。
• 严重违反规章制度：若员工此前存在严重违纪行为（如旷工、贪污），需依据《劳动合同法》第39条，提供规章制度、违纪证据及处理程序文件。

3. 避免违法风险的操作要点

• 不录用决定需书面化：向员工发送《不录用通知书》，明确理由及依据，避免口头拒绝引发争议。
• 不涉及歧视性条款：拒绝理由不得与《就业促进法》第3条禁止的歧视因素（如民族、种族、性别、宗教信仰）相关，否则可能面临行政处罚或民事赔偿。
• 协商解除优先：若员工同意不录用，可协商签订《解除劳动合同协议》，支付经济补偿（如N+1），降低诉讼风险。

4. 特殊情形处理

• 员工主张“优先录用权”：若原解除因公司过错（如违法解除），员工可能依据《劳动合同法》第48条要求继续履行合同。此时需评估恢复劳动关系的可行性，或协商高额补偿。
• 集体合同或专项协议约束：若公司与工会或员工签订了集体合同、返聘协议，需审查相关条款，避免违约。

建议：处理此类问题时，建议用人单位提前与法务或律师沟通，制定合规方案，并保留所有沟通记录、证据材料。若员工提起劳动仲裁或诉讼，需积极应诉，避免因程序瑕疵或证据不足败诉。如有具体案例或细节需进一步分析，可直接向我提问。