针对临时工迟到的问题，处理方式需要兼顾合法性与合理性，以下是一些详细的建议：
首先，从法律层面来看，用人单位并非行政机关，不享有行政处罚权。这意味着，对于临时工的迟到行为，单位不能随意进行罚款或采取其他行政处罚措施。根据《工资支付暂行规定》第十六条及《劳动合同法》的相关规定，单位仅能就员工迟到未提供劳动的对应时段扣减工资，且扣减后的剩余工资不得低于当地最低工资标准。如果单位试图进行一次性高额罚款，这将被视为变相克扣工资，是违法的行为。
其次，关于迟到的具体处理方式，单位应制定合理且合法的规章制度。这些规章制度应当明确迟到的定义、迟到的处理方式（如扣减工资的具体标准）、以及连续迟到或累计迟到达到一定次数的后果（如警告、记过、解除劳动合同等）。重要的是，这些规章制度必须经过民主程序制定，并向员工进行公示，确保员工知晓并同意。
在具体操作中，对于临时工的迟到行为，单位可以采取以下措施：
扣减工资：根据迟到的时长，按照规章制度中规定的标准扣减相应时段的工资。但需注意，扣减后的工资不得低于当地最低工资标准。
警告或记过：对于迟到行为较为严重或频繁的临时工，单位可以给予警告或记过等纪律处分，以起到警示作用。
解除劳动合同：如果临时工的迟到行为严重违反了单位的规章制度，且经过警告或记过后仍无改进，单位可以考虑解除劳动合同。但在此之前，必须确保规章制度的合法性和合理性，并遵循相应的法律程序。
此外，单位在处理迟到问题时还需注意合理性。例如，不能将短时间的迟到直接放大为旷工半天或一天，这种做法是不合理的，也可能被仲裁机构认定为违法。单位应合理评估迟到的时长和影响，并据此采取相应的处理措施。
最后，如果单位对临时工的迟到处理不当，临时工有权维护自己的合法权益。他们可以书面要求公司返还被扣的不合理款项，如果公司逾期不返还，临时工可以向劳动监察部门投诉或提起劳动争议仲裁，主张自己的权益。
综上所述，处理临时工迟到问题需要兼顾合法性与合理性，单位应制定合理且合法的规章制度，并严格按照规章制度执行。同时，临时工也应了解自己的权益和义务，积极维护自己的合法权益。