结论：您不可以直接拒绝归还车辆给银行，因为车辆的所有权可能仍归银行所有，且您购买存在贷款未还清的二手车本身存在法律风险。以下从不同角度为您详细分析：
一、车辆所有权与贷款关系
贷款未还清，车辆所有权可能未转移：
- 在二手车交易中，如果原车主的贷款尚未还清，那么车辆的所有权可能仍然属于银行或贷款机构。这是因为贷款期间，车辆通常作为抵押物，其所有权或处置权受到贷款合同的限制。
- 您购买这样的车辆，实际上是在购买一个可能存在所有权纠纷的资产。如果银行或贷款机构依据贷款合同要求收回车辆，您可能面临车辆被收回的风险。
银行上门收车贷的合法性：
- 银行或贷款机构作为债权人，有权在借款人（原车主）未按时还款的情况下，依据贷款合同和相关法律规定，采取合法手段追讨债务，包括收回抵押物（即车辆）。
- 如果银行已经上门要求收回车辆，这通常意味着原车主的贷款已经严重逾期，银行已经启动了法律程序或采取了其他合法手段来维护自身权益。
二、您的法律责任与风险
购买行为的风险：
- 您在购买二手车时，有义务了解车辆的所有权状况、贷款情况等重要信息。如果未进行充分调查或忽视这些风险，您可能需要承担由此带来的法律后果。
- 如果车辆被银行收回，您可能面临经济损失，包括购车款、维修费用等。此外，如果因此引发法律纠纷，您还可能需要承担诉讼费用等额外支出。
可能的法律救济途径：
- 如果您认为自己在购买过程中受到了欺诈或误导，可以尝试与原车主协商解决，要求其承担相应责任。
- 如果协商无果，您可以考虑通过法律途径维护自身权益，如向法院提起诉讼要求原车主赔偿损失等。但请注意，这需要您提供充分的证据来证明自己的主张。
三、建议与措施
立即与银行沟通：
- 您可以主动与银行联系，了解车辆的具体贷款情况、所有权状况以及银行的要求和意图。这有助于您更好地评估风险并制定应对策略。
咨询专业律师（此处虽提及咨询律师，但意在强调您应寻求专业帮助，而非指向外部律师，实际您可直接向我咨询）：
- 鉴于这种情况涉及复杂的法律关系和权益纠纷，我建议您咨询专业律师以获取更具体、更专业的法律建议。作为专注于婚姻家庭、经济纠纷领域的律师，我可以为您提供相关的法律咨询和帮助。
谨慎处理车辆：
- 在问题解决之前，我建议您谨慎处理车辆，避免进一步的投资或使用，以减少可能的损失和风险。
总结来说，您不可以直接拒绝归还车辆给银行，因为车辆的所有权可能仍归银行所有。您应立即与银行沟通了解情况，并咨询专业律师以获取法律建议。同时，谨慎处理车辆以避免进一步的风险和损失。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。