对于实行不定时工作制的劳动者，用人单位不能单纯以迟到早退为由解除劳动合同，这一决策需综合考虑多方面因素。以下是对此问题的详细分析：

一、不定时工作制的特殊性

不定时工作制是针对特定工作性质，如外勤、销售、高级管理等，无法按标准工作时间衡量的劳动者所采用的工时制度。其核心特点在于没有固定的上下班时间，劳动者的工作时间主要根据工作任务或工作需要来安排。因此，用传统标准工时制下的迟到早退定义来衡量不定时工作制员工并不合理。

二、用人单位规章制度的考量

1. 规章制度的合理性：如果用人单位的规章制度明确规定了不定时工作制下迟到早退的具体情形及相应后果，并且这些规定是合理的、不超出正常理解范围，且已经过合法程序制定并向劳动者公示或告知，那么在符合这些规定的情况下，用人单位可以依据规章制度处理。但即便如此，也不能直接以迟到早退为由解除劳动合同，而需考虑其他因素。

2. 规章制度的执行：在执行规章制度时，用人单位应遵循提醒、警告、再处理的程序。即先对员工的迟到早退行为进行提醒和警告，给予其改正的机会。只有当员工的迟到早退行为达到严重程度，且多次提醒和警告无效时，才可考虑采取辞退措施。

三、实际影响的评估

在评估是否可因迟到早退解除合同时，必须考虑其对工作任务完成、工作秩序、公司利益及团队协作的实际影响。例如：

• 如果迟到早退并未对工作任务的完成造成实质性影响，或者未严重干扰工作安排、损害公司利益，那么用人单位直接解除劳动合同可能被认定为违法解除。
• 相反，如果有充分证据证明员工的迟到早退行为给公司带来了重大负面影响，如导致重要项目进度延误或造成经济损失，且用人单位在有充分证据支持的情况下，解除劳动合同的行为可能得到法律支持。但这种情况也需谨慎处理，确保解除合同的合法性和合理性。

四、法律后果与风险

如果用人单位违法辞退实行不定时工作制的员工，根据《中华人民共和国劳动合同法》的相关规定，用人单位将面临支付赔偿金的风险。赔偿金的计算标准为经济补偿标准的二倍，即按劳动者在本单位工作的年限，每满一年支付二个月工资的标准向劳动者支付。

五、建议与总结

1. 对于用人单位：在处理实行不定时工作制员工的迟到早退问题时，应全面考虑不定时工作制的特殊性、规章制度的合理性、实际影响以及法律规定的具体要求。建议用人单位在制定和执行相关规章制度时，确保规定的合理性和合法性，并遵循提醒、警告、再处理的程序，以避免不必要的法律风险和经济损失。

2. 对于劳动者：应了解自身权益，合理规划工作时间，遵守公司规章制度。如果认为用人单位的处理方式不合理或违法，可以依法维护自己的权益。

如果您有进一步的法律问题或需要更详细的法律建议，请直接向我咨询，我会根据您的具体情况提供专业的法律帮助。