结论：是否需要支付违约金，主要取决于您与工商银行签订的合同中的具体条款以及相关法律法规的规定。以下从不同角度进行分析：
合同条款的约定：
- 违约金条款：首先，需要仔细审查您与工商银行签订的合同中是否明确约定了违约金条款。如果合同中有明确规定，在您签约后不去上班的情况下，可能需要按照合同约定支付违约金。
- 服务期与竞业限制：除了直接的违约金条款，合同中还可能包含服务期或竞业限制等条款。若您违反这些条款，也可能需要承担相应的违约责任，包括支付违约金。但需要注意的是，服务期和竞业限制通常与特定的培训或保密义务相关联，并非所有合同都会包含这些条款。
法律法规的规定：
- 《劳动合同法》的相关规定：根据《中华人民共和国劳动合同法》的规定，用人单位与劳动者约定违约金的情形主要限于两种：一是用人单位为劳动者提供专项培训费用，对其进行专业技术培训，并约定服务期的；二是用人单位与劳动者约定竞业限制条款的。若您的合同不属于这两种情形，且合同中约定的违约金条款违反了法律法规的强制性规定，则该条款可能被认定为无效。
- 违约金的合理性：即使合同中约定了违约金条款，且该条款不违反法律法规的强制性规定，违约金的数额也应当合理。如果违约金数额过高，可能被法院或仲裁机构根据实际情况进行调整。
实际操作建议：
- 审查合同：建议您首先仔细审查与工商银行签订的合同，特别是关于违约金、服务期和竞业限制等条款的约定。
- 咨询专业意见：如果您对合同条款或相关法律法规存在疑问，建议咨询专业律师以获取更具体的法律意见。
- 协商与沟通：在决定是否支付违约金之前，您也可以尝试与工商银行进行协商和沟通，看是否能够达成双方都能接受的解决方案。
后续行动建议：若您面临此类情况，请务必保留好合同原件及相关证据材料，以便在需要时维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我将根据您的具体情况提供详细的法律建议。