关于高校离职是否需要退还安家费的问题，这并非一个简单的“是”或“否”的答案，而是需要根据具体情况来详细分析。

首先，我们需要明确“安家费”的性质。在一般情况下，安家费是企业或机构为了吸引人才加盟，特别是那些具有专业知识、丰富工作经验或特殊技能的人才，而提供的一次性资金补贴。这种补贴的发放，通常基于入职者以往的个人经历、工作业绩、专业能力，以及企业对其未来可能为企业带来的价值的判断。

然而，在涉及国家工作人员（包括高校中的公职人员）的情况下，安家费的性质可能变得复杂。如果国家工作人员在离职前与请托人（如企业主）存在谋利事项，并且双方有过关于安家费的约定，那么这种安家费的发放就可能涉及权钱交易，从而构成受贿行为。

具体来说，如果国家工作人员在离职前利用职权为请托人提供了帮助，并约定在离职后以安家费的名义收受请托人的财物，那么这种行为就可能被视为受贿。因为这种情况下，安家费并非基于入职者未来的工作贡献或业绩，而是基于其过去的职权行使和为请托人提供的帮助。

对于高校离职人员而言，如果其在职期间并未利用职权为任何个人或企业提供特殊帮助，且安家费的发放是基于其学术成就、教学经验或专业技能等正当因素，那么这种安家费通常是不需要退还的。但是，如果存在权钱交易的情况，那么离职人员可能需要退还安家费，并可能面临法律责任。

此外，还需要注意的是，即使高校离职人员在职期间并未直接利用职权谋利，但如果其离职后入职的企业与其之前的工作存在某种利益关联（如之前监管过的企业），并且这种关联可能影响其职权的行使，那么在这种情况下收受的安家费也可能受到质疑。

综上所述，高校离职是否需要退还安家费，取决于多个因素，包括离职前的身份、与请托人是否存在谋利事项、安家费的性质以及发放安家费的具体情况等。因此，在面临此类问题时，建议咨询专业的法律人士或机构，以获取更具体、更准确的法律意见。