单位不能单方面拒绝规定延迟退休时间，但需与职工协商一致。

一. 延迟退休的协商基础

1. 职工与单位协商：职工达到法定退休年龄后，如果所在单位与职工协商一致，可以选择弹性延迟退休。这意味着，延迟退休的决定并非单位单方面可以做出，而是需要与职工进行充分的沟通和协商。

二. 延迟退休的具体规定

1. 时间限制：延迟退休的时间最长不超过法定退休年龄三年。例如，法定退休年龄为60岁的职工，最多可以延迟到63岁退休。
2. 书面形式：所在单位与职工应提前1个月，以书面形式明确延迟退休时间等事项，确保双方权益得到明确保障。

三. 单位的权限与责任

1. 不能单方面拒绝：单位不能单方面拒绝职工提出的延迟退休请求，而应与职工进行协商，并根据实际情况和职工意愿做出决定。
2. 保障职工权益：在延迟退休期间，单位应继续与职工保持劳动关系或人事关系，并按时足额缴纳社会保险费，保障职工的合法权益。

四. 特殊情况的考虑

对于从事特殊工种或个别高级专家等人员，如确因工作需要且身体能够坚持正常工作，经本人申请，相关部门批准，也可以适当延长退休年龄。但这种情况下，同样需要符合相关规定，并非单位可以随意决定。

总结：单位不能单方面拒绝规定延迟退休时间，而是需要与职工进行充分的协商，并在协商一致的基础上做出决定。同时，单位应确保延迟退休的合法性、合规性，并保障职工的合法权益。如有进一步需要，您可以继续咨询我。