结论：单位一直没成立工会，是否需要退回建会筹备金不能一概而论，需分情况讨论。
- 根据相关法规规定及筹备金性质判断
- 建会筹备金是工会筹备期间为开展工作等目的而收取的资金。如果当地有明确的地方性法规、规章或者上级工会组织有具体规定，要求在单位未在规定期限内成立工会时必须退回建会筹备金，那么单位就应当按照规定退回。例如某些地区规定，单位自收到工会组建通知之日起一定期限内（如6个月或者1年）未成立工会的，需将建会筹备金全额退回。
- 若没有此类明确规定，从筹备金的用途和目的来看，其本质是为了推动工会成立以及在筹备期间开展相关工作。如果筹备金已经用于与工会筹备相关的合理支出，如筹备人员的培训费用、宣传费用等，且这些支出是必要且合理的，那么可能不需要全额退回。但如果筹备金未使用或者使用不合理，单位可能需要根据实际情况与收取筹备金的工会组织协商处理，有可能需要部分或者全部退回。
- 从单位与工会组织协商角度考虑
- 即使没有明确的法规规定必须退回，单位也可以主动与上级工会组织或者相关工会筹备机构进行协商。如果单位认为继续保留建会筹备金没有合理依据，或者出于良好的合作关系考虑，可以与工会组织协商退回事宜。在协商过程中，单位需要提供相关的财务记录等资料，以证明筹备金的使用情况或者说明退回的理由。
- 工会组织也会根据实际情况进行考量，如果认为单位确实没有成立工会的可能或者筹备金的使用存在问题，也可能会同意退回部分或者全部建会筹备金。
如果单位遇到此类问题，建议先查阅当地的相关法规政策，同时积极与工会组织沟通协商，以妥善解决建会筹备金的退回问题。要是还有其他疑问，可以直接向我咨询。