您有权拒绝银行上门走访，银行无权强制进行；若银行继续纠缠或泄露您的个人信息，您可以通过投诉或法律途径维护自身权益。以下是具体分析和建议：

1. 银行上门走访的合法性边界
   根据《商业银行信用卡业务监督管理办法》第68条，银行仅能通过电话、信函、司法渠道催收债务，上门走访并非法定催收方式。若银行未经您同意强行上门，可能涉嫌侵犯公民住宅权（《民法典》第1032条）及个人信息权（《个人信息保护法》第13条）。您有权明确拒绝，并要求银行停止此类行为。

2. 工作单位信息的保护
   银行在贷后管理中可依法查询您的征信信息，但无权向第三方（如工作单位）透露您的债务情况（《征信业管理条例》第15条）。若银行以“核实还款能力”为由索要单位信息，您可拒绝提供，并告知其已侵犯隐私权。若银行因此泄露信息，您可主张赔偿。

3. 应对策略与维权路径

   • 书面拒绝：通过短信、邮件或书面函件明确告知银行“不同意上门走访及提供单位信息”，保留沟通记录作为证据。
     
   • 投诉渠道：
     
     • 向银行总行客服或贷后管理部门投诉（通过官网查询联系方式）；
       
     • 向当地银保监局举报（拨打12378热线），说明银行违规催收行为；
       
     • 若涉及个人信息泄露，可向网信办（12321平台）或公安机关报案。
       
   • 法律手段：若银行持续骚扰或泄露信息，可依据《民法典》第179条、第1034条起诉银行侵犯隐私权，要求停止侵害、赔礼道歉并赔偿损失。

4. 注意事项

   • 避免与催收人员发生肢体或语言冲突，全程保持冷静并录音录像；
     
   • 核实对方身份（要求出示工作证、委托函等），防止诈骗；
     
   • 定期查询个人征信报告，确认银行未违规上报信息。

建议行动步骤：

1. 立即向银行发送书面拒绝函；
   
2. 同时向银保监局和网信办投诉；
   
3. 若银行仍不停止，委托律师发送律师函或直接起诉。
   

如有进一步细节（如银行具体威胁内容、是否已泄露信息等），可随时补充说明，我会为您制定更具体的应对方案。