单位不让全部男员工延迟退休是合法的。以下是对此问题的详细分析：
一. 法定退休年龄与单位决策权
法定退休年龄：根据《中华人民共和国社会保险法》及相关规定，男职工的法定退休年龄是六十周岁。达到法定退休年龄并累计缴费满十五年的个人可以按月领取基本养老金。
单位决策权：在符合法律法规的前提下，单位有权根据自身情况和经营需要，决定是否让员工延迟退休。这包括但不限于考虑员工的工作表现、岗位需求、公司财务状况等因素。因此，单位有权不让全部男员工延迟退休。
二. 弹性退休制度
弹性退休的实施：根据人力资源社会保障部、中共中央组织部、财政部《实施弹性退休制度暂行办法》，职工达到法定退休年龄，所在单位与职工协商一致的，可以弹性延迟退休，延迟时间最长不超过三年。这意味着，延迟退休并非强制，而是需要单位与职工协商一致。
职工的选择权：职工达到最低缴费年限后，也可以自愿选择弹性提前退休，提前时间最长不超过三年，且退休年龄不得低于原法定退休年龄。这进一步强调了职工在退休年龄上的选择权。
三. 单位与职工的关系
保障职工权益：尽管单位有权决定是否让员工延迟退休，但职工的合法权益仍需得到保障。单位在做出相关决策时，应充分与员工沟通，并遵循公平、公正的原则。
合法性与合规性：单位在不让全部男员工延迟退休时，应确保决策过程合法合规，不得违背职工意愿，违法强制或变相强制职工选择退休年龄。
综上所述，单位不让全部男员工延迟退休是合法的。但在此过程中，单位应充分保障员工的合法权益，遵循公平、公正的原则，并与员工进行充分沟通。如有进一步需要，您可以继续咨询我。