结论：贷款人要求业务员返还手续费是否合法，需根据具体情况判断，包括手续费性质、合同约定、业务员行为及法律规定等因素。以下从不同角度详细分析：
一、手续费性质与合同约定
手续费性质：
- 若手续费是贷款过程中合理且必要的费用，如评估费、登记费等，且已明确告知借款人并经其同意，则通常视为合法费用。
- 若手续费是贷款人或业务员额外收取的、未明确告知借款人或未经其同意的费用，可能构成不合法收费。
合同约定：
- 审查贷款合同或相关协议中是否明确约定了手续费的收取标准、方式及返还条件。
- 若合同中有明确约定，且业务员已按照约定收取手续费，则贷款人要求返还可能缺乏合同依据。
- 若合同未约定或约定不明确，且手续费收取存在不合理之处，贷款人要求返还可能具有合理性。
二、业务员行为与法律规定
业务员行为：
- 若业务员在收取手续费过程中存在欺诈、胁迫等违法行为，或未按照贷款人规定或合同约定收取手续费，则贷款人要求返还手续费可能合法。
- 若业务员行为合法合规，且已按照约定履行义务，则贷款人要求返还可能缺乏法律依据。
法律规定：
- 根据《中华人民共和国民法典》等相关法律法规，合同双方应遵循诚实信用原则，履行合同义务。若手续费收取违反法律法规或公序良俗，贷款人要求返还可能得到法律支持。
- 同时，需关注当地金融监管部门对手续费收取的具体规定，以判断手续费收取是否合规。
三、具体情境分析
手续费未实际发生或未用于贷款目的：
- 若手续费未实际发生，或虽发生但未用于贷款相关目的（如被业务员私自截留），则贷款人要求返还手续费通常合法。
手续费已实际发生且用于贷款目的：
- 在此情况下，需进一步审查手续费收取的合理性及合同约定。若手续费收取合理且合同有约定，则贷款人要求返还可能缺乏依据；若手续费收取不合理或合同未约定，则贷款人要求返还可能具有合理性。
四、建议与风险提示
建议：
- 贷款人应仔细审查贷款合同及相关协议，明确手续费收取标准、方式及返还条件。
- 若对手续费收取存在疑问或争议，可与业务员或贷款人协商解决；协商不成的，可寻求法律途径解决。
风险提示：
- 贷款人在要求业务员返还手续费时，应确保自身行为合法合规，避免侵犯业务员合法权益。
- 业务员在收取手续费时，应严格遵守法律法规及贷款人规定，确保手续费收取的合法性和合理性。
如有具体法律问题或需要进一步的法律帮助，请直接向我咨询。我将根据您的具体情况，提供专业、全面的法律建议。