结论：在返聘期内，若单位无合理理由且未遵循法定程序要求您离职，您有权拒绝并可依法维权；若单位存在合理理由但程序违法，您同样可维权；若单位程序合法且理由合理，您则需配合离职。以下为具体情况分析：

1. 单位无合理理由且未遵循法定程序要求离职

   • 分析：返聘关系通常也受一定法律规范约束，尽管可能不同于标准劳动关系。若单位无法提供合理理由（如您严重违反单位规章制度、不能胜任工作且经培训或调岗后仍不能胜任等），且未按照返聘协议或相关法律规定提前通知您或支付相应补偿（如有约定），就要求您离职，这属于违法行为。
   • 建议：您有权拒绝单位的离职要求，并可与单位协商，要求其继续履行返聘协议。若协商无果，您可以收集相关证据（如返聘协议、工作记录、单位要求离职的通知等），向劳动争议调解组织申请调解，或者向劳动仲裁委员会申请仲裁，以维护自己的合法权益。

2. 单位有合理理由但程序违法要求离职

   • 分析：即使单位有合理理由要求您离职，如您确实存在严重失职、营私舞弊给单位造成重大损害等行为，但如果单位未按照法定程序（如未提前通知、未支付经济补偿等）进行，仍然构成违法解除返聘关系。
   • 建议：您可以先与单位沟通，指出其程序违法之处，并要求单位按照法定程序处理。若单位不予理会，您同样可以收集证据，通过调解或仲裁途径解决争议，要求单位承担违法解除的法律责任，如支付赔偿金等。

3. 单位程序合法且理由合理要求离职

   • 分析：如果单位能够提供充分证据证明您存在法定或返聘协议约定的解除情形，且按照法定程序提前通知了您或支付了相应补偿（如有约定），那么单位要求您离职是合法的。
   • 建议：在这种情况下，您应当配合单位办理离职手续，并按照返聘协议的约定处理后续事宜，如工作交接、保密义务等。若您对单位的离职决定有异议，但无法提供相反证据，那么通过法律途径维权可能难以获得支持。