结论：信用卡晚了4天还款被收取违约金，一般情况下是不能直接要求退还的，但具体能否退还还需结合信用卡合同条款、银行政策以及是否存在特殊情况来综合判断。
分析说明：
信用卡合同条款：
- 信用卡的使用是基于用户与银行之间签订的信用卡合同。合同中通常会明确约定还款期限、逾期还款的后果（包括违约金、利息等）以及银行的权利与义务。
- 如果合同中明确规定了逾期还款将收取违约金，并且用户已经签字确认，那么银行按照合同约定收取违约金是合法的。
银行政策：
- 不同银行对于信用卡逾期还款的政策可能有所不同。有些银行可能提供一定的宽限期，即在还款日后的一定时间内还款不算逾期，不收取违约金。
- 但大多数银行对于逾期还款都会收取一定的违约金，且逾期时间越长，违约金可能越高。
特殊情况：
- 如果用户能够证明逾期还款是由于银行系统故障、网络问题等不可抗力因素导致的，那么可能有机会与银行协商退还违约金。
- 另外，如果银行在收取违约金的过程中存在违规行为（如未提前告知、收取金额超出合同约定等），用户也有权要求银行退还。
法律建议：
查看信用卡合同：
- 用户应首先查看自己的信用卡合同，了解其中关于逾期还款和违约金的具体约定。
与银行沟通：
- 如果用户认为违约金收取不合理或存在特殊情况，可以尝试与银行客服或相关部门沟通，说明情况并请求退还违约金。
- 在沟通时，用户应保持冷静和理性，提供充分的证据来支持自己的观点。
寻求法律援助：
- 如果与银行沟通无果，用户可以考虑寻求法律援助或咨询专业律师，了解自己的权益和可能的维权途径。
后续行动与可能后果：
- 如果用户决定与银行协商退还违约金，应准备好相关证据（如还款记录、银行系统故障证明等）以支持自己的观点。
- 如果协商无果且用户认为自己的权益受到侵害，可以考虑通过法律途径解决纠纷。但需要注意的是，法律诉讼可能需要一定的时间和成本，并且结果并不总是如用户所愿。
特殊场景：
- 在某些特殊情况下（如银行系统故障导致用户无法按时还款），用户应及时与银行联系并保留好相关证据，以便在后续维权过程中使用。
计算公式（如涉及违约金计算）：
- 违约金的具体金额通常会在信用卡合同中明确约定，可能是按逾期金额的一定比例计算，也可能是固定金额。因此，无法直接给出计算公式。但用户可以根据合同中的约定和自己的逾期金额来计算应支付的违约金。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。