若想离职时不赔安家费，需满足特定条件或依据合同约定、法律规定来处理，以下分情况说明：

1. 合同无明确约定或约定不合法
   如果劳动合同或相关协议中未明确约定安家费的返还条件，或约定的返还条件违反法律法规强制性规定（如要求员工在离职时无条件全额返还安家费，且未考虑员工已实际服务期限等因素），则员工无需返还安家费。此时，用人单位要求返还可能缺乏法律依据，员工可拒绝。

2. 已履行合同约定的服务期
   若安家费的支付与服务期协议挂钩（如用人单位支付安家费，要求员工服务满一定年限），且员工已履行完约定的服务期，则离职时无需返还安家费。例如，合同约定服务期为3年，员工已工作满3年，此时离职不涉及返还问题。

3. 用人单位违约在先
   如果用人单位在合同履行过程中存在违法行为（如未按时足额支付工资、未提供劳动保护条件、强迫劳动等），导致员工被迫离职，员工可主张无需返还安家费。根据《劳动合同法》相关规定，用人单位违约时，员工有权解除合同，且无需承担违约责任（包括返还安家费）。

4. 安家费性质为福利而非对价
   若安家费属于用人单位提供的福利性补贴（如入职奖励、住房补贴等），而非与员工服务期或特定义务挂钩的对价，则离职时员工通常无需返还。此时，安家费的性质更接近于劳动报酬的补充，而非需要返还的“借款”或“预付款”。

行动建议：

• 核查合同条款：仔细审查劳动合同、安家费协议等文件，明确安家费的性质、支付条件及返还条款。
  
• 收集证据：若用人单位存在违约行为，保留相关证据（如工资条、考勤记录、沟通记录等），以备维权使用。
  
• 协商或法律途径：若用人单位要求返还安家费，可先协商解决；协商不成时，可向劳动监察部门投诉或申请劳动仲裁，维护自身权益。
  

如有进一步疑问或需具体分析，可直接向我咨询。