结论前置：小时工不到工期离职，用人单位扣违约金一般是不合法的，但存在特定情形除外。下面为你详细分析：

一般情况：不合法

根据《劳动合同法》的规定，除了两种特定情形外，用人单位不得与劳动者约定由劳动者承担违约金。这两种特定情形分别是：

1. 服务期约定：用人单位为劳动者提供专项培训费用，对其进行专业技术培训的，可以与该劳动者订立协议，约定服务期。劳动者违反服务期约定的，应当按照约定向用人单位支付违约金。但违约金的数额不得超过用人单位提供的培训费用，且用人单位要求劳动者支付的违约金不得超过服务期尚未履行部分所应分摊的培训费用。例如，用人单位花费了3万元为小时工提供专业培训，约定服务期为3年，小时工工作1年后离职，那么用人单位最多只能要求其支付2万元（3万÷3×2）的违约金。
2. 竞业限制约定：对负有保密义务的劳动者，用人单位可以在劳动合同或者保密协议中与劳动者约定竞业限制条款，并约定在解除或者终止劳动合同后，在竞业限制期限内按月给予劳动者经济补偿。劳动者违反竞业限制约定的，应当按照约定向用人单位支付违约金。比如，小时工掌握了公司的核心商业秘密，公司与其约定离职后2年内不得在同行业公司工作，并每月支付一定经济补偿，若小时工违反该约定，公司可要求其支付违约金。

在非上述两种特定情形下，用人单位与小时工约定不到工期离职扣违约金，是违反法律规定的，该约定无效，小时工无需支付违约金。即使用人单位已经扣除了违约金，小时工也有权要求用人单位返还。

特殊情况说明

如果小时工与用人单位之间的用工关系并非典型的劳动关系，而是属于劳务关系等其他法律关系，那么相关约定是否合法则需要依据具体的法律规定和双方之间的约定来判断。不过，在大多数情况下，小时工与用人单位之间建立的是劳动关系，适用《劳动合同法》的相关规定。

法律建议

如果用人单位以不到工期离职为由扣除了你的违约金，你可以采取以下措施：

1. 与用人单位协商：首先可以尝试与用人单位进行沟通，说明法律规定，要求其返还扣除的违约金。
2. 向劳动监察部门投诉：如果协商无果，你可以向当地的劳动监察部门投诉，劳动监察部门会依法对用人单位的违法行为进行查处。
3. 申请劳动仲裁：你还可以向劳动争议仲裁委员会申请劳动仲裁，通过法律途径维护自己的合法权益。在申请仲裁时，你需要提供相关的证据，如劳动合同、工资支付记录、用人单位扣除违约金的证明等。

如果你还有其他关于劳动工伤（工资福利）方面的问题，欢迎直接向我咨询。