不可以直接以迟到早退为由不发工资，但用人单位可依据规章制度进行合法扣减或处理。具体分析如下：

1. 工资支付原则
   根据《工资支付暂行规定》，用人单位应当按照劳动合同约定和国家规定，向劳动者及时足额支付劳动报酬。工资是劳动者提供劳动的对价，只要劳动者实际提供了劳动（即使存在迟到早退），用人单位就需支付相应工资，但可依法对违规行为进行扣减或处罚。

2. 合法扣减工资的情形

   • 规章制度约束：若用人单位在劳动合同或规章制度中明确规定“迟到早退的扣减标准”（如每次扣减一定比例工资），且该制度已通过民主程序制定并公示，则可依法扣减。但需注意：
     
     • 扣减金额不得超过当月工资的20%（依据《工资支付暂行规定》第十六条）；
       
     • 扣减后剩余工资不得低于当地最低工资标准。
       
   • 绩效工资调整：若工资结构中包含绩效工资，用人单位可依据迟到早退情况调整绩效分数，进而影响绩效工资发放。

3. 非法扣减工资的风险

   • 若用人单位未制定合法规章制度，或扣减金额超过法定比例，劳动者可依据《劳动合同法》第三十八条主张“未及时足额支付劳动报酬”，要求解除劳动合同并主张经济补偿。
     
   • 劳动者可通过劳动监察投诉或申请劳动仲裁，要求用人单位补发工资。

4. 其他合法处理方式

   • 纪律处分：用人单位可依据《劳动合同法》第三十九条，对严重违反规章制度的员工（如长期迟到早退）给予警告、记过、解除劳动合同等处分。
     
   • 培训或调岗：对轻微违规的员工，可安排培训或调整岗位，督促其改正。

建议：

• 用人单位应完善规章制度，明确考勤管理、工资扣减等条款，并确保程序合法；
  
• 劳动者若认为扣减不合理，可保留考勤记录、工资条等证据，通过法律途径维权。
  

如有具体案例或合同条款需要分析，可直接向我咨询。