公司存在违法行为解除劳动关系后，仍然需要承担相应的责任。具体来说：

1. 经济补偿责任：

   • 根据《劳动合同法》的相关规定，如果公司违法解除与员工的劳动关系，员工有权要求公司支付经济补偿金。经济补偿金的计算通常基于员工在公司的工作年限和月工资标准。

2. 赔偿责任：

   • 如果公司的违法行为给员工造成了损失（如工资损失、福利损失、精神损害等），员工还可以要求公司承担赔偿责任，赔偿其因此遭受的实际损失。

3. 恢复劳动关系：

   • 在某些情况下，如果员工希望继续履行劳动合同，且公司的违法行为并未导致劳动合同无法继续履行，员工还有权要求恢复与公司的劳动关系。

4. 行政责任：

   • 除了对员工承担上述责任外，公司还可能因其违法行为受到劳动行政部门的处罚，如罚款、警告、责令改正等。

5. 法律后果的多样性：

   • 需要注意的是，公司承担的具体责任可能因违法行为的性质、情节以及员工的诉求而有所不同。在某些严重违法的情况下，公司甚至可能面临刑事责任。

综上所述，公司存在违法行为解除劳动关系后，不仅需要对员工承担经济补偿、赔偿等民事责任，还可能面临行政部门的处罚。因此，建议公司在解除劳动关系时务必遵守相关法律法规，避免违法行为带来的不利后果。如果您在这方面有任何疑问或需要进一步的法律帮助，请直接向我咨询。