工厂更换工人（即解除劳动合同或进行人员调整）时，是否需要给予补偿，这主要取决于工厂解除劳动合同的具体原因和依据。以下从不同角度进行分析：
合法解除且无需补偿的情况：
- 如果工人存在严重违反工厂规章制度、严重失职或营私舞弊给工厂造成重大损害、被依法追究刑事责任等情形，工厂可以依据《劳动合同法》的相关规定，合法解除劳动合同，且无需支付经济补偿。
合法解除但需支付经济补偿的情况：
- 协商一致解除：如果工厂与工人协商一致解除劳动合同，工厂通常需要按照工人在工厂的工作年限，每满一年支付一个月工资的标准向工人支付经济补偿。六个月以上不满一年的，按一年计算；不满六个月的，向工人支付半个月工资的经济补偿。
- 无过失性辞退：如果工人因患病或非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由工厂另行安排的工作；或者工人不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作；或者劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，经工厂与工人协商，未能就变更劳动合同内容达成协议，工厂可以提前三十日以书面形式通知工人本人或者额外支付工人一个月工资后，解除劳动合同，并支付经济补偿。经济补偿的计算方式与协商一致解除相同。
- 经济性裁员：如果工厂因生产经营发生严重困难、转产、重大技术革新或者经营方式调整，经变更劳动合同后，仍需裁减人员；或者其他因劳动合同订立时所依据的客观经济情况发生重大变化，致使劳动合同无法履行的情形，工厂可以裁减人员，但需要按照工人在工厂的工作年限支付经济补偿。
违法解除的情况：
- 如果工厂违法解除劳动合同，如未按照法定程序进行、未支付经济补偿等，工人有权要求工厂继续履行劳动合同或者支付赔偿金。赔偿金的标准通常是经济补偿的两倍。
建议：
- 对于工人而言，如果工厂提出解除劳动合同，应要求工厂明确解除的原因和依据，并保留好相关证据。如果认为工厂的解除行为违法或不合理，可以及时向劳动监察部门投诉或申请劳动仲裁，维护自己的合法权益。
- 对于工厂而言，在解除劳动合同时，应确保解除行为的合法性和合理性，并按照法律规定支付经济补偿（如需）。同时，建议工厂在解除劳动合同前与工人进行充分沟通，尽量通过协商一致的方式解决，以减少劳动纠纷的发生。
示例：
假设工人在工厂工作了5年，月工资为5000元。如果工厂因经济性裁员需要解除与工人的劳动合同，那么工厂需要支付给工人的经济补偿为：5年 × 5000元/年 = 25000元。如果工厂违法解除劳动合同，工人有权要求工厂支付赔偿金，即经济补偿的两倍：25000元 × 2 = 50000元。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。