工厂不可以随便辞退临时工。在法律层面，并不存在“临时工”这一确切概念，通常涵盖非全日制用工和以完成一定工作任务为期限的劳动合同用工等形式。以下是对此问题的详细分析：

一、非全日制用工的辞退规定

对于非全日制用工，虽然双方任何一方都可以随时通知对方终止用工，且用人单位无需向劳动者支付经济补偿，但这也需遵循基本法律规定，不能基于歧视或违法目的辞退。若用人单位违法解除劳动合同，仍需承担相应的法律责任。

二、以完成一定工作任务为期限的劳动合同用工的辞退规定

对于以完成一定工作任务为期限的劳动合同用工，用人单位若要解除劳动合同，需要有合法依据。比如，劳动者严重违反用人单位的规章制度、严重失职给用人单位造成重大损害等。如果用人单位没有合法理由随意辞退劳动者，就构成违法解除劳动合同。此时，劳动者有权要求用人单位继续履行劳动合同；若劳动者不要求继续履行或劳动合同已无法继续履行，用人单位应按照经济补偿标准的二倍向劳动者支付赔偿金。

三、辞退临时工的合法情形

根据《中华人民共和国劳动合同法》的相关规定，用人单位可以解除劳动合同的情形包括但不限于：

1. 劳动者在试用期间被证明不符合录用条件；
2. 严重违反用人单位的规章制度；
3. 严重失职、营私舞弊给用人单位造成重大损害；
4. 劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出，拒不改正；
5. 因《劳动合同法》第二十六条第一款第一项规定的情形致使劳动合同无效的（即以欺诈、胁迫的手段或者乘人之危，使对方在违背真实意思的情况下订立或者变更劳动合同的）。

对于临时工而言，同样适用这些解除条件。但用人单位必须提供充分的证据来证明其辞退行为是合法的，否则将构成违法解除劳动合同。

四、违法辞退临时工的法律后果

如果用人单位违法解除劳动合同，需要向劳动者支付经济赔偿金。经济赔偿金的标准为经济补偿标准的二倍。经济补偿按劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。

建议：

• 作为劳动者，如果遭遇用人单位违法辞退，应保留好相关证据，如劳动合同、工资单、辞退通知等，以便在需要时维护自己的合法权益。
• 作为用人单位，应严格遵守相关法律法规，确保辞退行为的合法性和合理性，避免不必要的法律纠纷。

如果有任何关于劳动工伤方面的法律问题，可以直接向我咨询。