安家费的政府部分离职时是否需要退还，主要取决于劳动合同或相关协议中的具体约定，以及这些约定是否合法有效。以下是对此问题的详细分析：
一、有明确约定的情况
服务期及退还条件的约定：
- 如果用人单位（包括政府相关部门）与劳动者在劳动合同或相关协议中明确约定了服务期及安家费的退还条件，并且这些约定不违反法律法规的强制性规定，那么劳动者在服务期内离职的，通常需要按照约定退还安家费，包括政府部分。
- 法律依据：虽然《中华人民共和国劳动合同法》第二十二条主要针对的是专项培训费用，但其中关于服务期的约定原则可以类推适用于安家费的约定。即，如果用人单位为劳动者提供了安家费等福利待遇，并约定了服务期，劳动者在服务期内离职的，应按照约定退还相应费用。
显失公平的约定：
- 如果约定的退还条件明显不合理，存在显失公平的情况，劳动者有权请求变更或撤销该约定。例如，如果约定劳动者在服务期内因任何原因离职都需全额退还安家费，而该约定未考虑劳动者的实际贡献和用人单位的过错等因素，则可能构成显失公平。
- 法律依据：《中华人民共和国民法典》第一百五十一条规定，一方利用对方处于危困状态、缺乏判断能力等情形，致使民事法律行为成立时显失公平的，受损害方有权请求人民法院或者仲裁机构予以撤销。
二、无约定或约定不明确的情况
无约定服务期及退还条件：
- 如果双方没有就安家费的退还事宜作出明确约定，或者发放安家费时未附加任何条件，那么在劳动者离职时，一般不需要退还安家费，包括政府部分。安家费在此情况下被视为用人单位给予劳动者的一种福利或补贴。
约定不明确或模糊：
- 如果劳动合同或相关协议中的约定不明确或存在歧义，导致无法确定安家费是否需要退还，通常会倾向于保护劳动者的权益，即认为无需退还。例如，如果约定“劳动者在服务期内离职的，需根据实际情况退还部分安家费”，但未明确“实际情况”的具体范围和标准，则可能因约定不明确而无需退还。
三、特殊情况下的处理
- 用人单位存在过错：
- 如果劳动者因用人单位存在违法行为（如未提供劳动保护、未及时足额支付劳动报酬、未依法缴纳社会保险费等）而依据《中华人民共和国劳动合同法》的规定解除劳动合同，即使双方有服务期及安家费退还的约定，劳动者也无需退还安家费。
综合建议
审查劳动合同或相关协议：
- 劳动者在离职前应仔细审查劳动合同或相关协议中关于安家费的约定，了解自己是否需要退还安家费以及退还的具体条件和比例。
与用人单位协商：
- 如果对安家费的退还事宜存在疑问或争议，劳动者可以与用人单位进行协商，寻求双方都能接受的解决方案。
寻求法律援助：
- 如果协商无果或用人单位存在违法行为，劳动者可以寻求法律援助或向劳动争议仲裁机构申请仲裁，以维护自己的合法权益。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询。