结论：工厂让小时工频繁地在夜班和白班之间转换，是否违法需视具体情况而定，主要取决于这种排班方式是否违反了劳动法的相关规定，特别是关于工作时间和休息休假的规定。
分析：
关于工作时间：
- 根据《中华人民共和国劳动法》的相关规定，劳动者每日工作时间不超过八小时、平均每周工作时间不超过四十四小时。如果工厂的排班导致小时工的工作时间超出了这一限制，那么这种排班方式就是违法的。
- 此外，如果工厂安排小时工加班，也需要遵守劳动法中关于加班时间、加班工资支付等规定。频繁转换夜班和白班可能导致小时工加班时间过长，从而违反劳动法。
关于休息休假：
- 劳动法规定，劳动者有权享受休息休假。如果工厂的排班方式导致小时工无法获得足够的休息时间，或者连续工作时间过长，这也可能构成违法。
- 特别是对于夜班工作，劳动法通常会有更严格的规定，以保护劳动者的健康。如果工厂频繁地让小时工上夜班，而没有提供足够的休息时间或补偿措施，这也可能违反劳动法。
关于劳动合同和规章制度：
- 如果工厂与小时工签订的劳动合同中明确规定了工作时间、休息休假等条款，而工厂的排班方式违反了这些条款，那么工厂的行为就是违法的。
- 同样，如果工厂的规章制度中规定了合理的工作时间和休息休假制度，但实际操作中却频繁转换夜班和白班，这也可能构成对规章制度的违反，从而引发法律责任。
建议：
- 小时工方面：如果认为工厂的排班方式违法或不合理，可以首先与工厂进行沟通协商，要求调整排班方式或提供合理的补偿措施。如果协商无果，可以向当地的劳动监察部门投诉或寻求法律援助。
- 工厂方面：应严格遵守劳动法的相关规定，合理安排小时工的工作时间和休息休假。如果确实需要安排夜班工作，应提供足够的休息时间或补偿措施，以保护劳动者的健康和权益。
可能后果：
- 如果工厂的排班方式被认定为违法，可能会面临劳动监察部门的处罚，包括罚款、责令改正等。
- 小时工也有权要求工厂支付加班工资、提供合理的休息时间或采取其他补偿措施。如果工厂拒绝履行这些义务，小时工可以通过法律途径维护自己的权益。
总结：工厂让小时工频繁地在夜班和白班之间转换是否违法，取决于这种排班方式是否违反了劳动法的相关规定。如果小时工认为自己的权益受到侵害，可以向当地的劳动监察部门投诉或寻求法律援助。同时，工厂也应严格遵守劳动法的相关规定，合理安排工作时间和休息休假，以保护劳动者的健康和权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。