结论：与单位签订了延迟退休协议后，职工若不愿意再工作，能否终止延退协议需视具体情况而定，主要包括协议的具体条款、双方协商情况以及是否存在法定解除情形等因素。
分析如下：
协议具体条款：
- 首先，需要仔细审查延迟退休协议的具体内容。协议中可能明确规定了双方的权利和义务，包括协议的解除条件、程序等。如果协议中明确规定了职工在特定情况下可以单方面解除协议，那么职工在符合这些条件时，自然有权终止延退协议。
- 如果协议中没有明确规定解除条件，或者规定较为模糊，那么就需要进一步考虑其他因素。
双方协商情况：
- 即使协议中没有明确规定解除条件，职工仍然可以尝试与单位进行协商，寻求双方都能接受的解决方案。如果单位同意职工终止延退协议，那么双方可以签订书面协议，明确解除协议的具体事项和后续安排。
- 协商是解决此类纠纷的一种有效方式，可以避免不必要的法律争议和成本。
法定解除情形：
- 根据《劳动合同法》等相关法律法规，劳动合同（包括延迟退休协议）的解除可能受到法定情形的限制。例如，如果职工因身体原因无法继续工作，或者单位存在违法行为导致职工无法继续履行协议等，职工可能有权依法解除协议。
- 在这种情况下，职工需要收集相关证据，证明存在法定解除情形，并按照法定程序向单位提出解除协议的要求。
建议：
- 审查协议：职工应首先仔细审查延迟退休协议的具体内容，了解协议中关于解除的条款和条件。
- 与单位协商：如果协议中没有明确规定解除条件或职工希望以更和谐的方式解决问题，可以尝试与单位进行协商，寻求双方都能接受的解决方案。
- 寻求法律帮助：如果职工认为存在法定解除情形或单位不同意解除协议，可以寻求专业律师的帮助，了解自己的法律权益和可能的法律途径。
可能后果：
- 如果职工未经单位同意擅自终止延退协议，可能会面临违约责任，如支付违约金或赔偿单位因此遭受的损失。
- 如果职工依法解除协议，则无需承担违约责任，但应确保解除协议的程序和条件符合法律法规的规定。
总之，与单位签订了延迟退休协议后，职工若不愿意再工作，能否终止延退协议需根据具体情况来判断。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。