结论：公司以员工迟到罚款用于部门团建的行为，在多数情况下不合法，但需分情况讨论。以下是具体分析：

1. 公司罚款权缺乏法律依据
   根据我国《劳动合同法》及相关规定，用人单位并非行政机关，不具有行政处罚权。法律仅允许用人单位在员工造成直接经济损失时，通过规章制度要求赔偿（且需符合民主程序、公示告知等条件），但“迟到”本身通常不直接等同于经济损失。因此，公司以“迟到”为由罚款缺乏合法性基础。

2. 罚款用途不影响行为本身的违法性
   即使罚款被用于部门团建等看似“合理”的用途，行为的违法性不因资金用途改变而消除。罚款的本质是公司单方面克扣员工工资，违反《工资支付暂行规定》中“用人单位不得克扣劳动者工资”的强制性规定。员工有权要求公司返还罚款，或通过劳动仲裁主张权益。

3. 例外情形：地方性法规的特殊规定
   极少数地方性法规（如《深圳市员工工资支付条例》）曾允许公司对迟到等轻微违纪行为进行“象征性扣款”（如每月不超过一定比例），但此类规定已逐步被修订或废止。目前全国范围内，公司罚款行为普遍缺乏合法依据。

建议：

• 若公司存在此类行为，员工可先与公司协商要求返还罚款；
  
• 若协商无果，可向当地劳动监察部门投诉，或申请劳动仲裁；
  
• 公司若希望规范考勤，可通过调整绩效工资、全勤奖等方式间接激励，而非直接罚款。
  

如有进一步疑问，欢迎随时向我咨询。