结论：您可以拒绝银行上门，但需注意拒绝的方式和后续可能面临的法律后果。以下从多个角度为您详细分析：
一、从法律权利角度
个人住宅不受侵犯：根据我国法律规定，公民的住宅不受侵犯。这意味着，除非有法律明确规定的情形（如司法机关依法执行公务等），否则任何人不得非法侵入或搜查您的住宅。因此，从法律权利的角度来看，您有权拒绝银行工作人员未经您同意而上门的行为。
贷款合同约定：您需要查看与银行签订的贷款合同中是否有关于银行上门催收或调查的约定。如果合同中没有明确约定银行有权上门，那么银行的行为可能缺乏合同依据，您有权拒绝。
二、从实际操作角度
沟通协商：虽然您有权拒绝银行上门，但为了避免不必要的纠纷和麻烦，建议您先与银行进行沟通协商。您可以向银行说明您的情况和困难，提出合理的还款计划或解决方案，以争取银行的理解和支持。
了解上门目的：如果银行坚持要上门，您可以要求银行明确上门的目的和具体事项。如果银行只是进行常规的贷后管理或了解您的还款情况，且您愿意配合，那么您可以与银行约定一个合适的时间和地点进行面谈。但如果银行上门的目的涉及非法催收或侵犯您的合法权益，您有权坚决拒绝。
三、从法律后果角度
拒绝上门的后果：如果您拒绝银行上门，银行可能会采取其他合法手段进行催收，如电话催收、短信催收、发送律师函等。这些手段虽然可能给您带来一定的压力，但都是合法的催收方式。
非法上门的后果：如果银行未经您同意而强行上门，且行为涉嫌非法侵入住宅或侵犯您的其他合法权益，您有权向公安机关报案或向法院提起诉讼，要求银行承担相应的法律责任。
四、建议与措施
保留证据：无论您选择拒绝还是配合银行上门，都建议您保留好相关证据，如通话记录、短信记录、上门人员的身份信息等。这些证据在后续可能发生的纠纷中将对您非常有利。
寻求法律帮助：如果您对银行的行为存在疑虑或担忧，或者您认为银行的行为已经侵犯了您的合法权益，建议您及时咨询专业律师（比如我），了解您的法律权利和义务，以及可能的法律后果和解决方案。
总结：您可以拒绝银行上门，但需注意拒绝的方式和后续可能面临的法律后果。建议您先与银行进行沟通协商，了解上门的目的和具体事项，并根据实际情况做出合理的决策。如有需要，您可以随时向我咨询相关法律问题。