核心结论：临时工时单位分配的福利房，其处理方式需根据您与单位之间的法律关系（劳动关系或劳务关系）、福利房的性质（产权归属、分配条件等）以及相关法律法规综合判断。以下分情况说明：
1. 若您与单位构成劳动关系（即属于“正式员工”范畴，但以“临时工”名义用工）
- 福利房性质为产权房：若单位分配的福利房已办理产权登记至您名下，则房屋产权归您所有，单位无权随意收回。但需注意：
- 若分配时单位与您约定了服务期或附加条件（如工作满一定年限后产权归您），您需履行约定，否则可能承担违约责任；
- 若房屋系单位以成本价或优惠价出售给您，且您已支付对价，产权归属通常不受用工形式影响。
- 福利房性质为租赁房或使用权房：若单位仅提供房屋使用权（如单位宿舍），则您仅享有临时居住权，单位有权在劳动关系终止时收回房屋。但需注意：
- 若单位未提供合理搬迁期限或补偿，可能违反《劳动合同法》中关于“经济补偿”或“劳动条件”的规定，您可主张权利；
- 若房屋系单位通过集资建房、合作建房等方式取得，且您参与出资，则需根据出资比例或协议约定确定权益。
2. 若您与单位构成劳务关系（即纯粹的临时用工，不涉及劳动关系）
- 福利房分配无合法依据：劳务关系中，单位无义务提供福利房，若分配房屋可能涉及“好意施惠”或附条件赠与。此时：
- 若单位明确表示房屋系无偿提供且无附加条件，您可临时使用，但单位有权随时收回；
- 若单位以房屋作为劳务报酬的一部分（如“以房抵薪”），则需签订书面协议明确权利义务，否则可能因证据不足导致纠纷。
- 房屋产权归属争议：若房屋产权登记在单位名下，您仅享有使用权，单位收回房屋时需提前通知并给予合理期限；若产权已转移至您名下，则需按赠与或买卖合同处理。
3. 特殊情形：福利房涉及政策性住房（如公租房、经济适用房）
- 若房屋系单位代为申请的政策性住房：您需符合政策申请条件（如户籍、收入等），且房屋产权归政府或单位所有，您仅享有承租权。单位无权擅自收回，但您需遵守政策规定（如不得转租、逾期未腾退等）。
- 若房屋系单位自建或团购的政策性住房：需根据单位与您的协议约定处理，若协议未明确，可参照《民法典》中关于“租赁合同”或“共有物管理”的规定主张权利。
行动建议
- 核查用工关系：确认您与单位是劳动关系还是劳务关系（可通过劳动合同、工资发放记录、社保缴纳情况等判断）；
- 审查房屋权属：要求单位提供房屋产权证明或分配协议，明确房屋性质（产权房、租赁房、政策性住房等）；
- 固定证据：保存与房屋分配相关的书面文件（如分配通知、协议、付款凭证等），以备维权；
- 协商或诉讼：若单位无正当理由收回房屋，可先协商解决；协商不成，可依据《劳动合同法》《民法典》等向劳动仲裁机构或法院主张权利。
温馨提示：福利房问题涉及劳动法、物权法、合同法等多领域法律，具体处理需结合个案细节。若您有进一步疑问或需具体方案，可直接向我咨询，我将结合您的实际情况提供专业建议。