工厂直招临时工没签劳动协议，用人单位也不可以随便辞退。以下从不同角度为您详细分析：

一、事实劳动关系的认定

根据《劳动合同法》的相关规定，用人单位自用工之日起即与劳动者建立劳动关系。即便未签订书面劳动合同，只要存在实际用工行为，如临时工提供了劳动、接受了用人单位的管理并领取了报酬，即可认定为事实劳动关系。因此，工厂直招的临时工，即使没有签订劳动协议，也与工厂建立了事实劳动关系，受到法律的保护。

二、辞退的合法性判断

1. 合法解除情形：
   • 劳动者在试用期间被证明不符合录用条件；
   • 劳动者严重违反用人单位的规章制度；
   • 劳动者严重失职、营私舞弊，给用人单位造成重大损害；
   • 劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出，拒不改正；
   • 劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，经用人单位与劳动者协商，未能就变更劳动合同内容达成协议等。

在上述情形下，用人单位可以即时解除劳动合同，且无需支付经济补偿。但需要注意的是，用人单位必须提供充分的证据证明劳动者存在上述行为或情形。

1. 违法解除后果：
   • 如果用人单位无正当理由辞退临时工，即不属于上述法定可即时解除且无需支付补偿的情形，那么用人单位的行为就属于违法解除劳动关系。
   • 根据《劳动合同法》的规定，用人单位违法解除劳动关系的，需按经济补偿标准的二倍向劳动者支付赔偿金。经济补偿的计算标准为：每满一年支付一个月工资；不满六个月的，向劳动者支付半个月工资的经济补偿。

三、未签合同的法律后果

1. 双倍工资差额：

   • 用人单位自用工满1个月未签合同的，需支付第2个月至第12个月的双倍工资差额。这意味着，如果临时工在工厂工作了超过1个月但未签订劳动协议，工厂需要支付其双倍工资差额作为补偿。

2. 无固定期限劳动合同风险：

   • 如果临时工在工厂工作了满1年仍未签订劳动协议，那么根据法律规定，将视为已订立无固定期限劳动合同。此时，工厂不得随意解除与临时工的劳动关系。

四、维权途径与证据收集

1. 关键证据清单：

   • 工作记录（如考勤表、任务分配单、邮件或聊天记录等）；
   • 工资支付凭证（如银行流水、转账记录等）；
   • 工牌、工作服、同事证言等辅助材料。

2. 维权步骤建议：

   • 协商：优先与用人单位沟通补偿方案，尝试通过友好协商解决问题；
   • 投诉：向劳动监察大队举报用人单位未签合同及违法解除行为；
   • 仲裁：申请劳动仲裁，主张双倍工资差额、经济补偿金或赔偿金；
   • 诉讼：对仲裁结果不服的，可以向法院起诉。

总结与建议：工厂直招临时工没签劳动协议，并不意味着用人单位可以随便辞退。临时工应了解自己的法律地位和权益，在遭遇违法辞退时，及时收集证据并咨询专业律师，通过协商、投诉、仲裁或诉讼等途径维护自己的合法权益。如果您有进一步的法律问题或需要具体的法律帮助，请直接向我咨询。