单位一般不能随意借职工集资建房进行分房，但特定情形下可能存在例外，需分情况讨论：

1. 若集资建房性质为福利分房且单位有明确政策支持
   若单位组织的集资建房属于福利性质（如单位自有土地、政府批准的保障性住房项目），且单位内部规章制度或集资协议中明确约定“职工离职或调离时，单位有权收回房屋或调整分配”，则单位可能基于合同约定或内部管理权主张调整分房。但需注意：

   • 合法性前提：单位政策需符合《民法典》中关于合同效力的规定（如不违反公序良俗、不显失公平），且需通过职工代表大会等民主程序制定并公示；
     
   • 程序限制：调整分房需遵循“合理补偿”原则（如退还职工集资款及利息），否则可能构成违约或侵权。

2. 若集资建房性质为职工个人产权（如商品房合作开发）
   若职工通过集资建房取得房屋完全产权（如办理了个人不动产权证），则房屋属于职工个人财产，单位无权单方面收回或调整分配。此时：

   • 单位行为性质：若单位强行收回，可能构成对职工物权的侵犯（《民法典》第235条），职工可要求返还房屋或赔偿损失；
     
   • 例外情形：若职工与单位签订的集资协议中明确约定“房屋产权归单位所有，职工仅享有使用权”，则单位可能基于合同约定调整分房，但需确保协议内容合法且职工知情同意。

3. 若涉及历史遗留问题或政策性住房
   部分单位集资建房可能涉及房改政策、经济适用房等特殊性质，此时需结合具体政策判断：

   • 房改房：若房屋已按房改政策出售给职工，单位无权收回；
     
   • 经济适用房：若职工符合购买条件且已取得产权，单位不得随意调整；若职工违规转让或不符合条件，可能面临行政处罚或房屋被收回，但需由政府主管部门处理，单位无权直接分房。

建议：

• 若您是职工，需核查集资协议、房屋产权证等文件，明确房屋性质及权利归属；
  
• 若您是单位，需审查内部政策是否合法合规，避免因单方面调整分房引发劳动争议或侵权纠纷；
  
• 具体问题可进一步向我咨询，我会结合您所在地区政策及案件细节提供针对性分析。