工厂临时工是否可以随时撤人（辞退），并非一概而论，而是取决于具体的用工关系、合同规定以及法律法规。以下是对这一问题的详细分析：

1. 劳动关系下的临时工

   • 不能随意辞退：若临时工与工厂建立了劳动关系，并签订了劳动合同（无论是固定期限还是无固定期限），工厂则不能随意辞退该临时工。在劳动合同期限内，辞退需符合法定情形，如劳动者严重违反规章制度、严重失职造成重大损害、被依法追究刑事责任等。
   • 违法辞退的后果：若工厂无正当理由辞退劳动者，则属于违法解除劳动合同。根据《劳动合同法》的相关规定，工厂需按照经济补偿标准的二倍向劳动者支付赔偿金。赔偿金的计算方式为：按劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付；六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。

2. 非全日制用工的临时工

   • 可以随时辞退：对于非全日制用工的临时工，由于其用工形式的灵活性，双方可以随时通知对方终止用工，且工厂无需向劳动者支付经济补偿。非全日制用工一般是指以小时计酬为主，劳动者在同一工厂一般平均每日工作时间不超过四小时，每周工作时间累计不超过二十四小时的用工形式。

3. 劳务关系下的临时工

   • 依据劳务协议执行：如果临时工与工厂签订的是劳务协议，而非劳动合同，那么双方建立的是劳务关系。在这种情况下，辞退的相关规定主要依据双方签订的劳务协议来执行。劳务协议中一般会明确约定双方的权利和义务，包括解除协议的条件和方式。
   • 违约责任：如果劳务协议中没有约定可以随时辞退的条款，工厂也不能随意解除协议，否则可能构成违约，需要承担违约责任。

建议与提醒：

• 对于工厂而言，在辞退临时工时，务必遵循相关法律法规，确保辞退行为的合法性，以避免不必要的法律纠纷和经济损失。
• 对于临时工而言，如果认为工厂的辞退行为违法，应收集相关证据（如工资支付凭证、工作证、考勤记录等）来维护自己的合法权益。可以通过与工厂协商、申请劳动仲裁或提起诉讼等途径来寻求救济。

如有任何关于劳动纠纷的疑问或需要进一步的法律帮助，请随时向我咨询。