结论：在房屋抵押贷款无力偿还的情况下，您不能简单地拒绝银行或贷款机构上门，但可以通过合法途径来应对和解决这一问题。
分析说明：
贷款合同与抵押权：
- 当您与银行或贷款机构签订房屋抵押贷款合同时，您同意将房屋作为贷款的抵押物。这意味着，如果您未能按时偿还贷款，银行或贷款机构有权根据合同条款采取一系列措施，包括但不限于上门催收、提起诉讼、申请拍卖抵押物等。
上门催收的合法性：
- 银行或贷款机构在贷款逾期后，有权进行催收，包括上门催收。但催收行为必须遵守法律法规，不得侵犯您的合法权益，如不得使用暴力、威胁、恐吓等手段。
- 如果您认为催收行为违法或侵犯了您的权益，您可以向相关部门投诉或报警。
应对无力偿还的策略：
- 与银行或贷款机构协商：如果您确实无力偿还贷款，可以主动与银行或贷款机构联系，说明情况，尝试协商延期还款、减免部分利息或调整还款计划等。
- 寻求法律援助：如果您与银行或贷款机构无法达成一致，或者认为银行或贷款机构的行为违法，您可以寻求法律援助，咨询专业律师，了解您的权利和义务，以及可能的法律途径。
- 考虑债务重组或破产：在极端情况下，如果您无法承担债务，可以考虑债务重组或申请个人破产。但这需要您全面了解相关法律后果，并谨慎决策。
拒绝上门的法律后果：
- 如果您简单地拒绝银行或贷款机构上门，而不采取任何积极措施解决债务问题，银行或贷款机构可能会采取更严厉的法律手段，如提起诉讼、申请强制执行等。
- 这可能导致您的房屋被拍卖，信用记录受损，甚至面临更严重的法律后果。
行动建议：
- 主动沟通：与银行或贷款机构保持沟通，说明您的实际情况，尝试协商解决方案。
- 了解法律：咨询专业律师，了解您的权利和义务，以及可能的法律途径。
- 制定还款计划：根据您的经济状况，制定一个可行的还款计划，并努力执行。
- 避免逃避：不要逃避债务问题，积极面对并寻求解决方案。
特殊场景：
- 如果您认为银行或贷款机构的催收行为已经超出了合法范围，如使用了暴力、威胁等手段，您可以立即报警，并保留相关证据以便后续维权。
法律依据：
- 根据《中华人民共和国民法典》的相关规定，借款人应当按照约定的期限返还借款。对借款期限没有约定或者约定不明确，借款人可以随时返还；贷款人可以催告借款人在合理期限内返还。同时，抵押权人在债务人不履行到期债务或者发生当事人约定的实现抵押权的情形时，有权就抵押财产优先受偿。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。