公司不能仅以曾经迟到为由不给补偿，是否给予补偿需依据具体情况判断。以下是对此问题的详细分析：
公司合法解除劳动合同且无需补偿的情形
规章制度合法有效：
- 公司规章制度中明确规定了迟到达到一定次数或情形属于严重违纪，且该规定的制定经过了合法的民主程序，如职工代表大会讨论、与工会协商等。
- 规章制度内容合理，符合一般社会认知和行业惯例，不存在明显不合理之处，如一次迟到即视为严重违纪等显然不合理。
- 规章制度已向员工进行公示或告知，员工已知悉并理解相关规定。
员工确实严重违纪：
- 员工存在多次迟到行为，且达到了公司规章制度中规定的严重违纪标准。
- 公司有确凿的证据证明员工的迟到行为，如考勤记录、监控视频等。
在上述条件下，公司依据合法有效的规章制度辞退员工，属于合法解除劳动合同，无需支付经济补偿。
公司违法解除劳动合同需支付补偿的情形
规章制度不合法或不合理：
- 规章制度制定程序不合法，未经过民主程序或未与工会协商。
- 规章制度内容不合理，如对迟到的处罚过于严苛。
- 规章制度未向员工进行公示或告知，员工对相关规定不知情。
公司未按照规定程序执行：
- 公司未提供确凿证据证明员工的迟到行为。
- 公司未按照规章制度中规定的程序进行辞退操作，如未提前通知、未听取员工申辩等。
迟到行为未达到严重违纪程度：
- 员工虽然存在迟到行为，但并未达到公司规章制度中规定的严重违纪标准。
在上述任一情形下，公司以迟到为由辞退员工均属于违法解除劳动合同，需向员工支付赔偿金。赔偿金标准为经济补偿标准的二倍，具体计算方式依据员工在本单位工作的年限确定，即每工作满一年支付一个月工资的标准向劳动者支付，六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。
员工可采取的措施
- 与公司协商：首先尝试与公司进行沟通，说明公司辞退不合法的理由，要求公司支付赔偿金。
- 向劳动监察部门投诉：向当地劳动监察部门反映情况，请求其对公司的行为进行调查和处理。
- 申请劳动仲裁：若协商无果，可向劳动争议仲裁委员会申请仲裁，提供相关证据以支持自己的主张。
- 提起诉讼：对仲裁结果不满意时，可进一步向法院提起诉讼，维护自己的合法权益。
总结与建议：
面对公司以曾经迟到为由不给补偿的情况，员工应首先审查公司规章制度的合法性和合理性，以及自己是否存在严重违纪行为。若认为公司辞退不合法或应给予补偿而未给予，应及时采取法律措施维护自己的权益。同时，建议员工在日常工作中遵守公司规章制度，避免不必要的纠纷。如有任何法律问题，可以直接向我咨询。