小时工早退是否扣工时，这主要取决于小时工与用人单位之间的具体约定以及用人单位的相关规章制度。以下是对此问题的详细分析：
存在明确约定或规章制度的情况：
- 如果小时工与用人单位在劳动合同或劳务协议中明确约定了早退将扣除相应工时或工资，或者用人单位的规章制度中有此类规定，并且这些规定不违反法律法规的强制性规定，那么用人单位有权按照约定或规章制度扣除小时工的工时或工资。
- 法律依据：根据《中华人民共和国劳动合同法》及相关规定，用人单位与劳动者可以协商一致，在劳动合同中约定劳动报酬、工作时间等事项。同时，用人单位也有权制定合理的规章制度来规范劳动者的行为。
不存在明确约定或规章制度的情况：
- 如果小时工与用人单位之间没有明确的约定，或者用人单位的规章制度中没有关于早退扣除工时的规定，那么用人单位通常不能随意扣除小时工的工时或工资。
- 处理建议：在这种情况下，如果小时工早退，用人单位可以与小时工进行沟通，了解早退的原因，并尝试通过协商解决问题。如果协商无果，用人单位可以考虑根据实际情况，如早退对工作造成的影响等，来决定是否对小时工进行一定的处罚，但这种处罚应当合理且不违反法律法规。
特殊情况下的考虑：
- 如果小时工的早退是由于不可抗力因素（如突发疾病、交通事故等）导致的，且小时工能够及时提供相关证明，那么用人单位通常不应扣除其工时或工资。
- 人文关怀：作为用人单位，在处理此类问题时，也应体现出一定的人文关怀。对于偶尔因特殊原因早退的小时工，可以给予一定的理解和宽容。
总结与建议：
- 对于小时工而言，建议在与用人单位签订劳动合同时或劳务协议中，明确约定关于早退、迟到等行为的处理方式，以避免后续产生纠纷。
- 对于用人单位而言，建议制定合理的规章制度，并明确告知小时工。在处理早退等问题时，应遵循公平、公正、合理的原则，确保不违反法律法规的强制性规定。
如果您在小时工早退扣工时方面还有其他疑问或需要进一步的法律帮助，请随时向我咨询。