纠集5人以上到工厂搬东西是否违法，不能一概而论，需要分情况讨论：

1. 若搬的是工厂的财物，且未经工厂同意：

   • 法律性质：这种行为可能构成盗窃或抢劫（如果使用了暴力、胁迫等手段）。纠集多人共同实施，还可能构成共同犯罪。
   • 法律依据：根据《中华人民共和国刑法》的相关规定，盗窃公私财物，数额较大的，或者多次盗窃、入户盗窃、携带凶器盗窃、扒窃的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。若行为更恶劣，如使用暴力、胁迫等手段，则可能构成抢劫罪，刑罚将更为严厉。
   • 建议：切勿因一时贪念或冲动而实施此类行为，否则将面临严重的法律后果。

2. 若搬的是工厂的财物，但经过工厂同意：

   • 法律性质：如果工厂明确同意或授权你们搬走某些财物，那么这种行为就是合法的，不构成犯罪。
   • 注意事项：即使工厂同意，也应确保搬走的财物与工厂同意的范围一致，避免超范围搬取或损坏工厂财物，否则可能引发民事纠纷或承担赔偿责任。
   • 建议：在搬取前，最好与工厂签订书面协议，明确搬取的财物种类、数量、时间等细节，以避免后续纠纷。

3. 若搬的是个人财物，但误认为是工厂的财物：

   • 法律性质：如果你们误将个人财物当作工厂的财物而搬走，且没有非法占有的目的，那么这种行为可能不构成犯罪，但可能构成民事侵权。
   • 法律依据：根据《中华人民共和国民法典》的相关规定，侵害他人民事权益造成损害的，应当承担侵权责任。
   • 建议：一旦发现搬错财物，应立即归还并道歉，以避免不必要的法律纠纷。

额外提醒：

• 无论何种情况，纠集多人共同实施行为都可能增加法律风险。因为多人共同实施行为时，每个人的行为都可能对整体结果产生影响，且更容易引发冲突和暴力事件。
• 如果遇到类似情况或不确定自己的行为是否合法，建议及时咨询专业律师（即向我咨询），以便获得更具体、更准确的法律建议。

总结：纠集5人以上到工厂搬东西是否违法，取决于搬取的财物性质、是否经过工厂同意以及行为人的主观意图等因素。因此，在实施此类行为前，务必谨慎考虑并咨询专业律师的意见。