工厂不交手机就让下班的行为，是否违法需分情况讨论：
若工厂此行为缺乏合理依据，且未与员工协商一致：
- 工厂要求员工交手机，若未提供合理的理由（如涉及机密信息保护、安全生产需要等），且未与员工进行协商，单方面以不交手机就让下班的方式处理，可能构成对员工劳动权益的侵犯。
- 根据《中华人民共和国劳动法》的相关规定，劳动者享有平等就业和选择职业的权利、取得劳动报酬的权利、休息休假的权利等。工厂的行为可能干扰了员工的正常工作安排，侵犯了员工的劳动权益。
若工厂此行为基于合理的管理需要，且已与员工协商一致或通过规章制度明确：
- 如果工厂因特定工作性质（如涉及国家机密、商业秘密、安全生产等）需要员工交手机，并且这一要求已经通过合理的程序（如与员工协商、制定并公示规章制度等）得到员工的同意或认可，那么工厂的行为可能是合法的。
- 在这种情况下，工厂应当确保员工了解交手机的原因、目的和期限，并提供必要的替代通讯方式，以保障员工的正常工作和生活需求。
若工厂以此为由变相辞退员工或降低工资待遇：
- 如果工厂以员工不交手机为由，变相辞退员工或降低其工资待遇，这种行为显然是违法的。
- 根据《中华人民共和国劳动合同法》的相关规定，用人单位解除劳动合同应当符合法定条件，并遵循法定程序。工厂不得以不合理的理由辞退员工或降低其工资待遇。
法律建议：
- 对于员工而言，如果认为工厂的行为侵犯了自己的劳动权益，可以首先与工厂进行协商，寻求合理的解决方案。
- 如果协商无果，员工可以向当地的劳动监察部门投诉或申请劳动仲裁，以维护自己的合法权益。
- 在处理此类问题时，员工应当保留好相关证据（如工厂的通知、规章制度、与工厂的沟通记录等），以便在需要时提供证明。
可能后果：
- 如果工厂的行为被认定为违法，可能会面临劳动监察部门的处罚，包括责令改正、罚款等。
- 同时，工厂还可能需要承担因违法解除劳动合同或降低工资待遇而产生的赔偿责任。
总之，工厂不交手机就让下班的行为是否违法，取决于工厂的行为是否基于合理的管理需要、是否已与员工协商一致或通过规章制度明确，以及是否存在变相辞退员工或降低工资待遇等违法行为。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。