工地上班公司把门禁退了是否违法，需根据具体情况而定。以下是几种可能的情况及其法律分析：

1. 若被视为单方解约且无合法依据：

   • 如果公司未经与员工协商或未经法定程序，单方面退还门禁卡，且此行为被视为单方面解除劳动合同或限制员工进入工作场所的权利，那么这种行为可能构成违法。因为劳动合同中通常包含了员工进入工作场所的权利，公司擅自撤销门禁卡可能构成违约。

2. 若公司有充分理由：

   • 如果员工严重违反了公司规章制度，或者公司因停业整顿、搬迁等特殊原因需要暂时撤销门禁卡，并且为员工提供了合理的安置措施，那么这种情况下撤销门禁卡通常并不违法。因为公司有权根据合同或法律规定采取必要的管理措施。

3. 考虑劳动合同和公司规定：

   • 还需要具体查看劳动合同和公司规章制度中是否有关于门禁卡的相关规定。如果合同中明确规定了门禁卡的使用和管理方式，公司应当按照约定执行。如果公司违反了合同约定，员工可以依法维护自己的权益。

综上所述，工地上班公司把门禁退了是否违法，取决于公司的行为是否符合法律法规及合同约定。如果你遇到了类似的情况，建议首先与公司进行沟通协商，了解具体原因和解决方案。如果无法协商解决，你可以考虑向当地劳动监察部门投诉或寻求法律援助。