结论：退休后被单位返聘，若您不想继续工作，可以直接与单位沟通表达离职意愿，并按照双方约定或法律规定办理离职手续。以下是从不同角度为您详细分析：
一、法律关系分析
退休返聘的法律性质：
- 退休后被单位返聘，您与单位之间形成的是劳务关系，而非劳动关系。这是因为您已经享受了养老保险待遇或领取了退休金，不再符合劳动法中劳动者的主体资格。
劳务关系的特点：
- 劳务关系中，双方的权利义务主要由双方协商确定，不受劳动法中关于工作时间、休息休假、社会保险等强制性规定的约束。
- 因此，在离职方面，您与单位之间的约定将起主要作用。
二、离职沟通与手续办理
沟通离职意愿：
- 您可以直接与单位的人力资源部门或直接上级沟通，表达您不想继续工作的意愿。
- 在沟通时，可以说明离职的原因，如个人健康、家庭原因等，以便单位理解您的决定。
办理离职手续：
- 根据您与单位之间的约定或单位的规定，办理离职手续。
- 这可能包括填写离职申请表、交接工作、归还单位财物等。
- 如果双方没有约定离职期限，您可以与单位协商确定一个合理的离职时间。
三、可能涉及的法律问题
劳务报酬结算：
- 在离职时，您应确保单位已经结清了您的劳务报酬。
- 如果单位拖欠劳务报酬，您可以依据双方之间的约定或相关法律规定，要求单位支付。
保密义务与竞业限制：
- 如果您与单位之间签订了保密协议或竞业限制协议，您在离职后仍需遵守这些协议的规定。
- 违反保密义务或竞业限制协议，可能需要承担法律责任。
四、建议与注意事项
保留证据：
- 在与单位沟通离职事宜时，建议保留相关的书面证据，如离职申请表、沟通记录等。
- 这些证据在后续可能发生的纠纷中，将起到重要的证明作用。
友好协商：
- 离职过程中，建议与单位保持友好协商的态度，尽量通过协商解决可能出现的纠纷。
- 如果协商不成，您可以考虑通过法律途径维护自己的权益。
了解相关法律规定：
- 虽然退休返聘形成的是劳务关系，但了解一些基本的劳动法规定仍然有助于您更好地维护自己的权益。
- 例如，了解关于劳务报酬、工作时间、休息休假等方面的规定。
最后，如果您在离职过程中遇到任何法律问题或纠纷，可以直接向我咨询。作为专业律师，我将根据您的具体情况，为您提供专业的法律建议和帮助。