可以要求银行提供违约金的发票。以下是详细分析：

1. 法律依据：根据《中华人民共和国发票管理办法》第十九条，销售商品、提供服务以及从事其他经营活动的单位和个人，对外发生经营业务收取款项，收款方应当向付款方开具发票。信用卡违约金属于银行因持卡人违约而收取的费用，属于经营性收费，因此银行有义务开具发票。

2. 实际操作：

   • 主动要求：持卡人在支付违约金后，有权向银行要求开具发票。银行通常会在账单中列明违约金金额，持卡人可联系银行客服或通过银行官方渠道（如网上银行、手机银行）申请开具发票。
   • 发票类型：银行开具的发票通常为增值税普通发票或增值税专用发票（如持卡人为企业且符合条件）。发票内容会明确标注为“信用卡违约金”或类似项目。

3. 注意事项：

   • 时效性：建议持卡人在支付违约金后尽快要求开具发票，避免因时间过长导致银行无法提供或开具流程复杂化。
   • 保留证据：如银行拒绝开具发票，持卡人可保留相关证据（如账单、通话记录、聊天记录等），并向当地税务机关投诉或寻求法律帮助。

4. 维权途径：

   • 向银行投诉：首先可通过银行客服或投诉渠道要求解决。
   • 向税务机关举报：如银行仍拒绝开具发票，可向当地税务机关举报，税务机关将依法处理。
   • 法律诉讼：在极端情况下，持卡人可通过法律途径维护自身权益，但通常不建议为小额费用采取此措施。

总结：信用卡还款迟了产生的违约金，银行有义务开具发票。持卡人应主动要求银行提供，并保留好相关证据。如遇拒绝，可通过投诉、举报或法律途径解决。如有其他疑问，欢迎随时向我咨询。