不可以不交，但在特定条件下可主张减免或调整，具体分情况说明如下：

1. 违约金、罚息、利息的合法性基础
   根据《民法典》第676条及《商业银行信用卡业务监督管理办法》，银行有权对逾期还款收取违约金（通常为最低还款额未还部分的5%）和罚息（日利率通常为万分之五，按月复利）。只要银行在合同中明确约定了收费标准，且未超过法律规定的上限（如年利率24%），用户需按约定支付。若银行未履行告知义务（如未在合同中显著提示），用户可主张条款无效，但实践中银行通常已完善告知流程，此情形较少见。

2. 可主张减免的例外情形

   • 银行过错：若逾期因银行系统故障、未及时通知还款信息等导致，用户可要求银行免除相关费用（需留存证据，如短信记录、系统截图）。
     
   • 不可抗力：如因重大疾病、失业等突发情况导致无力还款，用户可与银行协商减免部分费用（需提供医院诊断证明、失业证明等材料）。
     
   • 费用计算错误：若银行收取的违约金、罚息超出合同约定或法律上限（如年利率超过24%），用户可要求退还超额部分（需保留账单、还款记录等证据）。

3. 不支付的后果

   • 信用受损：逾期记录会上报央行征信系统，影响未来贷款、信用卡申请。
     
   • 催收与诉讼：银行可能通过电话、短信催收，甚至委托第三方催收机构；若长期未还款，银行可起诉要求还款，并申请强制执行（如冻结银行卡、查封财产）。
     
   • 刑事风险：若恶意透支（如透支金额超5万元，经银行两次催收后超过3个月未还），可能构成信用卡诈骗罪，面临刑事处罚。

建议行动步骤：

1. 核对信用卡合同及账单，确认违约金、罚息的计算方式是否合法；
   
2. 若存在银行过错或不可抗力，立即联系银行客服说明情况，并提交证明材料申请减免；
   
3. 若无力一次性还款，可与银行协商分期还款或个性化还款方案（如停息挂账）；
   
4. 保留所有沟通记录（如录音、聊天记录），以备后续维权。
   

如有进一步疑问（如具体费用计算、协商技巧等），可直接向我咨询。