返聘人员可以不继续聘用，但需根据具体情况判断是否需要承担法律责任或履行特定程序。以下从不同角度为你详细分析：

1. 合同性质角度
   返聘人员通常与用人单位签订的是劳务合同而非劳动合同（除非双方明确约定适用劳动法）。根据《民法典》合同编规定，劳务合同到期或双方协商一致时，任何一方均有权不续签，无需支付经济补偿。但需注意：

   • 若合同中约定了续签条件或违约责任（如“合同期满自动续签”），则需按约定履行；
     
   • 若用人单位单方提前终止合同，可能需承担合同约定的违约责任（如支付违约金）。

2. 年龄与劳动法规角度
   返聘人员多为已达退休年龄的人员，根据《劳动合同法实施条例》第二十一条，劳动者达到法定退休年龄的，劳动合同终止。因此：

   • 若返聘人员已享受养老保险待遇，双方关系按劳务关系处理，用人单位可随时终止聘用，无需支付经济补偿；
     
   • 若返聘人员未享受养老保险待遇且未达退休年龄（如提前内退返聘），则可能被认定为劳动关系，终止聘用需按《劳动合同法》支付经济补偿（每工作满1年支付1个月工资）。

3. 程序合法性角度
   即使按劳务关系处理，终止聘用也需遵循程序合法性：

   • 避免歧视性终止（如因性别、年龄等非法理由不续聘）；
     
   • 提前通知（若合同有约定）或协商一致；
     
   • 结清劳务报酬、报销费用等。

4. 特殊情形提示

   • 工伤风险：返聘人员在工作中受伤的，若按劳务关系处理，用人单位需承担人身损害赔偿责任（按过错比例分担）；若按劳动关系处理，则适用工伤保险待遇。
     
   • 竞业限制：若返聘人员掌握商业秘密，双方可在劳务合同中约定竞业限制条款，但需支付补偿金，否则条款可能无效。

建议：

• 终止返聘前，核查合同类型、返聘人员年龄及社保状态；
  
• 保留书面终止通知或协商记录，避免口头约定；
  
• 如有纠纷，可依据合同条款、工资支付记录等证据主张权利。
  

如有具体案例或合同条款需要分析，可直接向我提问，我会结合细节为你进一步解答。