结论：是否需要退回住房补贴，需根据劳动合同、公司规章制度以及补贴性质综合判断，以下分情况说明：

1. 若劳动合同或公司规章制度明确约定“试用期离职需退回住房补贴”
   根据《劳动合同法》第三条，劳动合同依法订立即具有法律约束力，双方应按约定履行。若合同或制度中明确约定“住房补贴属于附条件发放（如服务期条件）”，且试用期离职属于未满足条件，则公司有权要求退回补贴。
   例如：合同约定“住房补贴分12个月发放，员工需工作满1年，否则需按未服务月份比例退回”，此时试用期离职（未满1年）需退回。

2. 若劳动合同或制度未约定退回条款，但补贴属于“福利性质”
   若住房补贴是公司为吸引人才提供的福利（如“入职即享”），且未与工作期限挂钩，则属于员工应得收入的一部分。根据《工资支付暂行规定》第七条，工资（含福利）应在离职时一次性结清，公司无权要求退回。
   例如：公司制度写明“所有员工每月享受500元住房补贴，无服务期限制”，此时试用期离职无需退回。

3. 若补贴属于“预支性质”或“借款性质”
   若公司以“住房补贴”名义预支了未来工资（如提前发放3个月补贴，但约定离职时需扣除未工作月份），或明确约定为“借款”（如“公司借款给员工用于租房，离职时需归还”），则员工需按约定退回。
   例如：合同约定“公司预支6个月住房补贴共3000元，员工需工作满6个月，否则按未服务月份比例退回”，此时试用期离职（如工作2个月）需退回2000元。

建议行动：

• 核对劳动合同、公司规章制度中关于住房补贴的条款；
  
• 若公司要求退回但无合法依据，可拒绝并保留证据（如合同、补贴发放记录）；
  
• 若公司坚持要求退回，可协商解决或向劳动监察部门投诉。
  

如有其他细节（如补贴发放方式、合同具体条款），可进一步向我说明，我会帮你具体分析。