可以拒绝信用卡委托方上门走访，但需分情况讨论，具体如下：

1. 若委托方未依法履行程序，你有权拒绝
   根据《商业银行信用卡业务监督管理办法》第六十八条，发卡银行应当对债务人本人及其担保人进行催收，不得对与债务无关的第三人进行催收，且催收应当采取合法、合规的方式。若委托方未提前书面通知你走访时间、目的，或未出示合法委托证明、身份证明等文件，其上门走访行为可能涉嫌违法违规，你有权拒绝其入户要求。此时，你可要求对方通过电话、邮件等合法方式沟通，或直接联系发卡银行核实委托方身份及授权范围。

2. 若委托方依法履行程序，你仍可拒绝入户，但需承担沟通成本
   即使委托方依法出示了相关证明文件，你仍有权拒绝其进入住宅。根据《民法典》第二百九十条，住宅是公民的私密空间，未经允许，他人不得非法侵入。若委托方坚持要求入户，你可明确告知其“住宅内不接受面谈”，并要求其离开。此时，委托方可能通过其他方式（如电话、信函）继续催收，或向法院提起诉讼，但你无需因拒绝入户而承担法律责任。

3. 拒绝走访后，需注意后续风险防范
   拒绝上门走访后，建议你主动与发卡银行沟通，说明还款意愿及当前困难，避免银行因联系不上你而采取更激进的催收措施（如起诉、冻结账户）。同时，保留与委托方的沟通记录（如录音、短信），以防其后续行为涉嫌骚扰或侵犯隐私。若委托方存在暴力、威胁、骚扰等行为，可立即报警并保留证据，依法追究其法律责任。

总结建议：

• 拒绝走访时，保持冷静，明确要求对方出示合法证明文件；
  
• 若对方行为违法，及时报警并保留证据；
  
• 主动与银行沟通还款计划，避免矛盾升级。
  

如有进一步疑问，可直接向我咨询信用卡纠纷、债务处理等法律问题。