单位在特定情况下有权收回集资房。集资房本质上是单位为解决职工住房困难而进行的集资建设行为，职工在此过程中获得了一定的居住权益。然而，这一权益的存在是有前提条件的，即职工与单位必须保持劳动关系。一旦职工离职，双方的劳动关系随之解除，单位作为集资房的所有者以及对房屋的管理方，基于其对房屋的所有权和管理权限，有权对集资房进行收回处理。

但不可忽视的是，集资房的具体收回情况还需依据集资建房合同以及相关的法律规定来确定。如果在集资建房的合同或者相关约定中明确规定了离职后职工仍可继续居住，或者存在其他特殊的约定条款，那么就应当依据这些约定来处理。这体现了契约精神在法律关系中的重要性，即双方应当按照事先约定的内容来履行各自的权利和义务。

因此，在处理单位集资房离职后是否有权收回的问题时，需要具体查看集资建房合同以及相关的法律规定，以确定最终的处理方式。如果在这一过程中出现了争议，当事人可以通过合法的法律途径来解决，寻求公正的裁决和合理的解决方案。