结论前置：针对您提到的“打电话来说外访贷款人员说上门催收让返回去”的情况，不能仅凭电话就断定其真实性，需要结合多方面因素进行综合判断。以下是从不同角度对此问题的详细分析：
一、电话催收的合法性
合法催收：在贷款逾期的情况下，贷款机构或其委托的第三方催收机构有权通过电话、短信等方式进行催收，这是合法的债权追索行为。但催收过程中必须遵守相关法律法规，不得使用暴力、威胁、恐吓等非法手段。
非法催收：如果催收人员使用虚假身份、夸大事实、威胁恐吓等手段进行催收，则可能构成非法催收，您有权向相关部门投诉并维护自己的合法权益。
二、上门催收的判断
真实上门催收：如果贷款机构确实安排了外访人员上门催收，并且您收到了合法的通知（如书面通知、官方短信等），那么这种情况是可能的。但上门催收也必须遵守法律法规，不得侵犯您的合法权益。
虚假上门催收：有些不法分子可能会冒充贷款机构的外访人员，以“上门催收”为名进行诈骗活动。他们可能会要求您立即还款、提供个人信息或支付额外费用等。对于这种情况，您一定要保持警惕，不要轻易相信陌生人的话。
三、如何应对
核实身份：在接到此类电话时，首先要核实对方的身份。可以要求对方提供贷款机构的名称、自己的姓名和工号等信息，并通过官方渠道（如贷款机构的客服电话、官方网站等）进行核实。
要求书面通知：如果对方声称要上门催收，可以要求其提供书面通知或官方短信作为证明。不要仅凭电话就做出决定或支付任何费用。
保护个人信息：在沟通过程中，要注意保护自己的个人信息，不要随意透露给陌生人。如果对方要求您提供银行卡号、密码等敏感信息，一定要拒绝并立即报警。
及时沟通：如果您确实存在贷款逾期的情况，建议主动与贷款机构沟通，说明自己的还款计划和困难，争取达成合理的还款协议。
报警处理：如果您怀疑自己遭遇了诈骗或非法催收行为，可以立即向当地公安机关报案，并提供相关证据（如电话记录、短信内容等）。
四、法律后果
对于贷款机构：如果贷款机构或其委托的第三方催收机构存在非法催收行为，可能会面临行政处罚或民事赔偿等法律后果。
对于您：如果您因误信虚假催收信息而遭受了财产损失或个人信息泄露等后果，有权向相关部门投诉并要求赔偿。
建议您：在接到此类电话时保持冷静和警惕，不要轻易相信陌生人的话。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。我会根据您的具体情况提供专业的法律意见和建议。