工厂遣散工人但留下快退休人员这一行为是否合法，不能一概而论，需要分情况讨论：
若工厂遣散行为基于合法理由，且未违反相关法律法规对快退休人员的特殊保护规定：
- 工厂在经营过程中，可能会因为市场变化、技术革新、业务调整等原因，需要进行人员遣散。如果工厂能够证明遣散行为是基于这些合法且合理的理由，并且没有违反《劳动合同法》等相关法律法规对快退休人员的特殊保护规定（如未提前通知、未支付经济补偿等），那么工厂留下快退休人员而遣散其他员工的行为，在法律上可能是被允许的。但这种情况较为特殊，且工厂需要承担较高的举证责任，以证明其遣散行为的合法性和合理性。
若工厂遣散行为违反相关法律法规，特别是针对快退休人员的特殊保护规定：
- 根据《劳动合同法》的相关规定，对于接近退休年龄的员工，工厂在解除劳动合同时需要更加谨慎。如果工厂在遣散过程中，未按照法律规定提前通知员工、未支付应得的经济补偿，或者存在其他违法行为（如歧视性遣散），那么工厂留下快退休人员而遣散其他员工的行为就可能构成违法。在这种情况下，快退休员工有权依法维护自己的合法权益，包括要求工厂支付经济补偿、恢复劳动关系等。
法律背景与建议：
- 法律背景：我国法律对劳动者的权益保护有着严格的规定，特别是对于接近退休年龄的员工，法律更是给予了特殊的保护。工厂在遣散员工时，必须遵守相关法律法规，确保遣散行为的合法性和合理性。
- 建议：
- 对于工厂而言，在遣散员工前，应仔细审查相关法律法规，确保遣散行为的合法性。同时，应与员工进行充分沟通，解释遣散的原因和依据，以减少不必要的纠纷。
- 对于快退休员工而言，如果认为工厂的遣散行为违法或不合理，应及时向工厂提出异议，并保留好相关证据（如劳动合同、工资单、遣散通知等）。必要时，可以寻求法律援助或向劳动仲裁机构申请仲裁，以维护自己的合法权益。
可能法律后果：
- 如果工厂的遣散行为被认定为违法，工厂可能需要承担支付经济补偿、恢复劳动关系等法律责任。同时，工厂的声誉和形象也可能受到损害，影响其未来的经营和发展。
总之，工厂遣散工人但留下快退休人员这一行为是否合法，需要根据具体情况进行判断。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。