迟到早退但未扣工资的情况下，用人单位一般不能仅以此为由直接解聘员工，但若迟到早退行为严重违反了公司规章制度，且该规章制度合法有效，则用人单位有权解聘员工。以下从不同角度为您详细分析：
一、迟到早退与解聘的直接关联性
一般情况：迟到早退本身并不直接构成用人单位解聘员工的法定理由。用人单位在解聘员工时，需要依据法律法规和劳动合同的约定，确保解聘行为的合法性和合理性。若仅因员工偶尔迟到早退而未扣工资，就直接解聘，可能构成违法解聘。
严重违反规章制度：然而，如果员工的迟到早退行为严重违反了公司的规章制度，且该规章制度已经过合法程序制定并公示，同时明确规定了迟到早退达到一定程度可以解聘，那么用人单位在符合法定程序的情况下，有权解聘员工。这种情况下，解聘行为是合法的。
二、规章制度的重要性
合法有效的规章制度：用人单位的规章制度是管理员工的重要依据。为了确保规章制度的合法性和有效性，它必须经过全体职工或者职工代表大会讨论，有工会和职工代表参与确定，并经过公示。只有这样，规章制度才能作为解聘员工的合法依据。
规章制度的执行：在执行规章制度时，用人单位需要确保公平、公正和透明。对于迟到早退等违规行为，应当按照规章制度的规定进行处理，如警告、罚款、扣减奖金等。如果规章制度中规定了迟到早退达到一定程度可以解聘，那么用人单位在执行时需要确保这一规定的合理性和公正性。
三、解聘的合法程序
事先通知：在解聘员工前，用人单位需要事先通知员工，并说明解聘的理由和依据。这有助于保障员工的知情权，并确保解聘行为的合法性和合理性。
听取员工意见：在解聘过程中，用人单位应当听取员工的意见和申诉，确保解聘决定的公正性和合理性。如果员工对解聘决定有异议，可以通过法律途径维护自己的权益。
支付经济补偿：如果解聘行为是由于用人单位的原因导致的，如经营困难、裁员等，那么用人单位需要按照法律法规的规定支付经济补偿。然而，如果解聘是由于员工严重违反规章制度导致的，那么用人单位可能不需要支付经济补偿。
四、特殊情况下的处理
怀孕期间：对于怀孕期间的女职工，即使存在迟到早退等违规行为，用人单位也不能直接解聘。根据《中华人民共和国劳动法》的规定，女职工在孕期、产期、哺乳期内的，用人单位不得依据相关法律法规的规定解除劳动合同。
其他特殊情况：对于其他特殊情况下的员工，如患职业病或者因工负伤并被确认丧失或者部分丧失劳动能力的、患病或者负伤在规定的医疗期内的等，用人单位也需要遵守相关法律法规的规定，不得随意解聘。
建议：作为员工，应当遵守公司的规章制度，按时上下班，避免迟到早退等违规行为。如果确实存在特殊情况需要迟到或早退，应当提前向公司请假并说明原因。作为用人单位，应当制定合法有效的规章制度，并确保其得到公平、公正和透明的执行。在解聘员工时，需要遵循法定程序，确保解聘行为的合法性和合理性。如果您在劳动工伤方面有任何疑问或需要进一步的法律帮助，请随时向我咨询。