结论：工厂小时工下班期间撞到人，是否需要赔偿取决于具体情况，包括事故责任划分、是否属于工伤范畴以及是否存在第三方责任等。以下从不同角度进行分析：
一、事故责任划分
个人责任：如果工厂小时工在下班期间因个人原因（如疏忽大意、违反交通规则等）撞到他人，且该行为与工作无关，那么根据《中华人民共和国民法典》中关于侵权责任的规定，小时工可能需要承担相应的民事赔偿责任。这包括赔偿受害人的医疗费、误工费、护理费等合理费用。
第三方责任：如果事故是由第三方（如其他车辆、行人等）造成的，且该第三方存在过错，那么赔偿责任应由第三方承担。小时工在此情况下可能无需承担赔偿责任，但应积极配合受害人向第三方追偿。
二、是否属于工伤范畴
工伤定义：根据《工伤保险条例》，工伤是指在工作时间和工作场所内，因工作原因受到事故伤害，或者在工作时间前后在工作场所内，从事与工作有关的预备性或者收尾性工作受到事故伤害等情形。下班期间撞到人，通常不属于工伤范畴，因为该行为并非在工作时间内、工作场所内因工作原因造成。
特殊情况：如果小时工在下班途中受到非本人主要责任的交通事故伤害，且该事故与工作有一定的关联性（如因工作需要加班后下班途中发生事故），可能符合工伤认定的某些条件。但这种情况较为特殊，需要具体分析。
三、法律建议
及时报警并保留证据：无论事故责任如何划分，小时工都应立即报警并保留相关证据（如现场照片、视频、证人证言等），以便后续处理。
积极配合调查：小时工应积极配合交警部门的调查工作，如实陈述事故经过，以便准确划分事故责任。
咨询专业律师：如果事故责任划分存在争议或受害人提出高额赔偿要求，小时工应及时咨询专业律师，了解自身权益和义务，以便采取合适的法律措施。
考虑保险赔偿：如果小时工购买了相关保险（如交通事故责任险、意外伤害险等），可以考虑向保险公司申请赔偿，以减轻自身经济负担。
总结与进一步思考：工厂小时工下班期间撞到人是否需要赔偿，取决于事故责任划分、是否属于工伤范畴以及是否存在第三方责任等多种因素。在处理此类事故时，小时工应保持冷静、积极配合调查，并及时咨询专业律师以维护自身权益。如果你有进一步的法律问题或需要更详细的法律建议，可以直接向我咨询。