工厂没有活干直接撤掉员工是否违法，需分情况讨论：

1. 若工厂因经营困难等原因裁员，但未遵循法定程序：

   • 根据《劳动合同法》的相关规定，工厂因经营状况发生严重困难等原因需要裁员时，应当提前三十日向工会或者全体职工说明情况，听取工会或者职工的意见后，裁减人员方案经向劳动行政部门报告，才可以裁减人员。如果工厂未遵循这些法定程序，直接撤掉员工，那么这种行为是违法的。员工有权要求工厂继续履行劳动合同，或者要求工厂支付违法解除劳动合同的赔偿金。

2. 若工厂与员工协商一致解除劳动合同：

   • 如果工厂与员工就解除劳动合同达成了协商一致，并且双方签署了相关的解除协议，那么工厂撤掉员工的行为是合法的。在这种情况下，工厂通常需要按照协议约定向员工支付经济补偿金（如果有的话）。

3. 若工厂以“没有活干”为由，单方面解除劳动合同但不符合法定情形：

   • 工厂不能仅凭“没有活干”这一理由就单方面解除劳动合同。如果工厂的行为不符合《劳动合同法》中规定的用人单位可以解除劳动合同的法定情形（如员工严重违反用人单位的规章制度、严重失职给用人单位造成重大损害等），那么工厂的行为就是违法的。员工同样有权要求工厂继续履行劳动合同或支付赔偿金。

法律建议：

• 对于员工而言：如果遭遇工厂违法撤员的情况，首先应当保留好相关证据（如劳动合同、工资单、解除劳动合同的通知等），然后可以向当地的劳动监察部门投诉或者申请劳动仲裁，以维护自己的合法权益。
• 对于工厂而言：在面临经营困难需要裁员时，应当严格遵守《劳动合同法》的相关规定，提前与工会或全体职工说明情况，听取意见，并向劳动行政部门报告裁减人员方案。同时，在与员工解除劳动合同时，应当确保解除行为的合法性，避免引发不必要的法律纠纷。

可能后果：

• 如果工厂违法撤员，除了可能需要支付赔偿金外，还可能面临劳动行政部门的处罚，如罚款等。同时，工厂的声誉和形象也可能受到损害，影响未来的招聘和业务发展。

如有更多疑问或需要进一步的法律帮助，请直接向我咨询。