结论：催收人员表示要上门调查取证，你完全可以选择不去配合，但需注意可能面临的法律后果及应对策略。以下从多个角度为你详细分析：
一、催收人员上门调查取证的合法性
法律程序要求：
- 催收人员并非执法机关工作人员，他们无权直接进行上门调查取证。合法的调查取证通常需要由执法机关（如法院、公安机关等）依法进行，且需遵循严格的法律程序。
催收行为边界：
- 催收人员的主要职责是提醒债务人履行还款义务，他们可以通过电话、短信、邮件等方式进行催收，但不得采取非法手段，如威胁、恐吓、骚扰等。上门调查取证若未经合法授权，可能构成对债务人隐私权的侵犯。
二、你不去配合的法律后果
无直接法律后果：
- 如果你选择不去配合催收人员的所谓“上门调查取证”，这本身并不会直接导致你承担法律责任。因为催收人员并无合法权力强制你接受调查。
可能面临的催收压力：
- 然而，催收人员可能会因此加大催收力度，如增加电话催收频率、发送更严厉的催收信息等。但这并不改变你无需配合非法调查的法律立场。
三、应对策略与建议
保持冷静与理性：
- 面对催收人员的上门要求，首先要保持冷静，不要因恐慌而做出不理智的决定。明确告知催收人员，你拒绝非法调查，并要求他们通过合法途径解决问题。
了解并维护自身权益：
- 你可以向催收人员说明，根据相关法律法规，他们无权进行上门调查取证。如果催收人员坚持要求上门，你可以要求他们出示合法授权文件，否则你有权拒绝。
记录并保留证据：
- 如果催收人员采取不当行为，如威胁、恐吓等，你应及时记录并保留相关证据，如录音、录像、短信等。这些证据在后续维权过程中可能起到关键作用。
寻求法律帮助：
- 如果你感到自己的权益受到侵害，或者催收行为已经严重影响到你的正常生活，你可以考虑寻求法律帮助。作为专业律师，我可以为你提供法律咨询和维权服务，帮助你应对催收问题。
四、特殊情况下的处理
如果催收人员持有合法授权文件：
- 在极少数情况下，催收人员可能持有执法机关出具的合法授权文件，要求进行上门调查取证。在这种情况下，你应配合调查，但仍有权要求催收人员出示相关文件并核实其真实性。
如果催收行为涉嫌违法：
- 如果催收行为涉嫌违法，如侵犯隐私权、非法拘禁等，你应立即向公安机关报案，并寻求法律帮助。作为律师，我可以协助你收集证据、准备报案材料，并代表你与执法机关沟通。
总结与建议：面对催收人员的上门调查取证要求，你完全有权拒绝配合。同时，要保持冷静与理性，了解并维护自身权益，记录并保留相关证据。如有需要，及时寻求法律帮助。如果你有任何疑问或需要进一步的法律咨询，请随时向我提问。