公司部门优化需要裁员，只赔偿N，是否合法需分情况讨论：
根据《劳动合同法》第四十一条，用人单位因生产经营发生严重困难、转产、重大技术革新或经营方式调整等情形，经变更劳动合同仍需裁员的，可以裁减人员。在此情况下，若用人单位提前三十日向工会或全体职工说明情况，听取意见后，裁减人员方案经向劳动行政部门报告，且裁员符合法定情形，那么用人单位仅支付经济补偿金N（即每工作一年支付一个月工资）是合法的。这里的“N”是指劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。
若裁员不符合法定情形或程序不合法，仅支付N则可能不合法
不符合法定情形：如果用人单位的裁员并非基于《劳动合同法》第四十一条所列举的法定情形，而是出于其他非法定原因，如单纯为了降低成本或调整人员结构等，那么这种裁员行为可能被视为违法解除劳动合同。在此情况下，劳动者有权要求用人单位支付赔偿金，赔偿金的标准是经济补偿金的两倍，即2N。
程序不合法：即使裁员符合法定情形，但如果用人单位未按照法定程序进行，如未提前三十日向工会或全体职工说明情况、未听取意见、未将裁减人员方案向劳动行政部门报告等，那么这种裁员行为也可能被视为违法。在此情况下，劳动者同样有权要求用人单位支付赔偿金2N。
额外建议：
核实裁员合法性：如果您面临公司裁员，首先应核实公司的裁员行为是否符合法定情形和程序。您可以要求公司出示相关证明文件，如裁员方案、劳动行政部门报告等。
协商与沟通：在裁员过程中，建议您与公司进行积极协商和沟通，了解公司的裁员计划和补偿方案。如果公司仅愿意支付N，而您认为裁员行为不合法或补偿不合理，您可以提出异议并要求公司给予更合理的补偿。
寻求法律援助：如果您与公司在裁员问题上无法达成一致，或者您认为公司的裁员行为严重侵犯了您的合法权益，您可以寻求法律援助或向劳动争议仲裁委员会申请仲裁。
总结：公司部门优化需要裁员时，仅赔偿N是否合法取决于裁员是否符合法定情形和程序。如果裁员合法且程序正当，那么支付N是合法的；如果裁员不合法或程序不当，那么劳动者有权要求支付赔偿金2N。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。