关于非主动离职被辞退是否需要退还安家费的问题，结论前置如下：
- 若劳动合同或相关协议中有明确约定且合法有效：劳动者在服务期内非主动离职（即被辞退）的，通常需要按照约定退还安家费。但需注意，若约定的退还条件显失公平，劳动者有权请求变更或撤销该约定。
- 若劳动合同或相关协议中无明确约定或约定不明确：劳动者在离职时，一般不需要退还安家费。安家费在此情况下被视为用人单位给予劳动者的一种福利或补贴。
详细分析如下：
一、有约定的情况
服务期及退还条件的约定：
- 用人单位与劳动者在劳动合同或相关协议中明确约定了服务期及安家费的退还条件，且这些约定不违反法律法规的强制性规定。在此情况下，劳动者在服务期内非主动离职（如被辞退），通常需要按照约定退还安家费。这是因为，安家费往往被视为用人单位对劳动者未来服务的一种预支付或激励，若劳动者未履行完服务期，用人单位有权要求退还。
- 法律依据：虽然《中华人民共和国劳动合同法》第二十二条主要针对专项培训费用约定服务期，但类似原则可类推适用于安家费的约定。即，若双方有明确约定，且该约定合法有效，劳动者应遵守。
显失公平的约定：
- 如果约定的退还条件明显不合理，如要求劳动者在极短时间内退还全部安家费，或退还金额远超劳动者实际获得的利益，存在显失公平的情况。在此情况下，劳动者有权请求变更或撤销该约定。
- 法律依据：《中华人民共和国民法典》第一百五十一条规定，一方利用对方处于危困状态、缺乏判断能力等情形，致使民事法律行为成立时显失公平的，受损害方有权请求人民法院或者仲裁机构予以撤销。
二、无约定或约定不明确的情况
无约定服务期及退还条件：
- 如果双方没有就安家费的退还事宜作出明确约定，或者发放安家费时未附加任何条件，那么在劳动者离职时，一般不需要退还安家费。因为，安家费在此情况下被视为用人单位给予劳动者的一种福利或补贴，而非对未来服务的预支付或激励。
约定不明确或模糊：
- 如果劳动合同或相关协议中的约定不明确或存在歧义，导致无法确定安家费是否需要退还，通常会倾向于保护劳动者的权益，即认为无需退还。因为，在法律上，模糊或不明确的规定往往会被解释为对制定方不利的规定。
三、综合建议
- 对于劳动者：在签订劳动合同时，应仔细阅读并理解关于安家费的约定。若对约定有疑问或认为约定不合理，应及时与用人单位沟通并寻求法律意见。在离职时，若用人单位要求退还安家费，应根据实际情况和法律规定进行判断和应对。
- 对于用人单位：在制定劳动合同或相关协议时，应明确约定安家费的发放条件、服务期以及退还条件（如有）。这样既可以保障用人单位的合法权益，也可以避免未来因约定不明而产生的纠纷。同时，应确保这些约定符合法律法规的强制性规定，以避免可能的法律风险。
最后，若您在此问题上仍有疑问或需要进一步的法律帮助，请直接向我咨询。作为专业律师，我将根据您的具体情况提供详细的法律意见和解决方案。