回保人员退缴安置补偿费是否合法，需根据具体情况判断，不能一概而论。以下从不同角度进行分析：

1. 合同或协议约定角度

• 若合同或协议中有明确约定：如果回保人员与拆迁方或相关政府部门在签订安置补偿协议时，明确约定了退缴安置补偿费的条件、程序及法律责任，且回保人员的行为符合这些约定，那么退缴行为就是合法的。例如，协议中可能规定，若回保人员在特定时间内未履行某些义务（如未按时搬迁、未提供必要文件等），则需退缴部分或全部安置补偿费。
• 若合同或协议中无明确约定：如果协议中没有相关条款，那么拆迁方或政府部门要求回保人员退缴安置补偿费可能缺乏合同依据，此时退缴行为可能不合法。

2. 法律法规角度

• 遵循法律法规：拆迁安置补偿费的发放和退缴应严格遵循相关法律法规的规定。如果法律法规明确规定了退缴的条件和程序，且回保人员的行为符合这些规定，那么退缴行为就是合法的。例如，某些地区可能出台了地方性法规或规章，对拆迁安置补偿费的退缴进行了具体规定。
• 违反法律法规：如果拆迁方或政府部门要求回保人员退缴安置补偿费的行为违反了法律法规的规定，如未按照法定程序进行、未给予回保人员合理的申诉机会等，那么退缴行为就是不合法的。

3. 公平合理角度

• 公平合理原则：在判断退缴行为是否合法时，还应考虑公平合理原则。如果退缴行为对回保人员造成了不公平的损失，或者拆迁方或政府部门的行为存在滥用权力、显失公平等情况，那么退缴行为可能不被视为合法。
• 回保人员权益保护：回保人员作为拆迁安置的受益方，其合法权益应得到充分保护。如果退缴行为侵犯了回保人员的合法权益，如未给予合理的补偿、未提供必要的帮助等，那么回保人员有权拒绝退缴，并可以通过法律途径维护自己的权益。

法律建议

• 审查合同或协议：回保人员应仔细审查与拆迁方或相关政府部门签订的安置补偿协议，了解其中关于退缴安置补偿费的条款和约定。
• 咨询专业律师：如果回保人员对退缴行为的合法性存在疑问，或者认为自己的权益受到了侵犯，建议及时咨询专业律师，了解自己的法律权利和义务，以及可能的法律救济途径。
• 保留相关证据：回保人员应妥善保留与拆迁安置相关的所有证据，包括合同、协议、支付凭证、沟通记录等，以便在需要时提供证明。

若回保人员遇到退缴安置补偿费的问题，且不确定其合法性，建议直接向我咨询，我将根据具体情况提供专业的法律意见。