关于人才被迫离职后是否需要退还政府给的住房补贴，这个问题不能一概而论，而是需要根据具体情况和相关协议、政策来判断。
首先，如果住房补贴是作为政府为了吸引和留住人才而提供的一种特殊待遇，并且这种待遇的给予往往伴随着一定的服务期要求，那么在这种情况下，如果人才在未满服务期的情况下离职，政府或相关部门有可能会根据协议或政策要求人才退还部分或全部住房补贴。这是因为，这种特殊待遇的给予是基于人才对当地经济和社会发展的贡献预期，如果人才未能履行约定的服务期，那么这种预期就无法实现，政府或相关部门因此有权要求退还补贴。
然而，另一方面，如果住房补贴的给予并没有明确的服务期要求，或者人才离职是由于不可抗力因素（如健康问题、家庭变故等）导致的，而非个人主观意愿，那么在这种情况下，政府或相关部门可能就不会要求人才退还住房补贴。
此外，还需要注意的是，不同地区的政策可能存在差异。有些地区可能对于人才离职后的住房补贴退还问题有明确的规定，而有些地区则可能没有。因此，在具体操作时，还需要参考当地的相关政策规定。
建议：
仔细阅读协议和政策：在接受住房补贴时，务必仔细阅读相关的协议和政策文件，了解其中关于服务期、离职后补贴退还等条款的具体规定。
与相关部门沟通：如果对于协议或政策中的某些条款存在疑问或不解，建议及时与相关部门进行沟通，明确自己的权利和义务。
合理规划个人发展：在接受住房补贴等特殊待遇时，应合理规划自己的个人发展路径，确保能够履行约定的服务期，避免因个人原因导致的违约和不必要的法律风险。
寻求法律援助：如果因离职后住房补贴退还问题产生纠纷，建议及时寻求法律援助或咨询专业律师，以维护自己的合法权益。