单位在特定条件下可以清退实际施工人，但需严格遵循法律规定并满足相应条件。以下从不同角度为你详细分析：
一、法律背景与依据
在建设工程领域，实际施工人通常指的是没有直接与发包人（即建设单位）签订承包合同，但实际承担了工程施工任务的主体。他们可能是挂靠、转包或违法分包情形下的实际施工者。根据《中华人民共和国民法典》及相关司法解释，实际施工人的权益受到一定保护，但同时也需遵守合同约定和法律规定。
二、单位清退实际施工人的合法情形
合同解除：
- 如果单位与实际施工人之间签订了书面合同，且合同中明确约定了单位在特定条件下有权解除合同并清退实际施工人（如实际施工人严重违约、工程质量不达标等），那么单位在满足这些条件时，可以依据合同约定进行清退。
- 法律依据：根据《民法典》第五百六十二条，当事人协商一致，可以解除合同。当事人可以约定一方解除合同的事由。解除合同的事由发生时，解除权人可以解除合同。
实际施工人违法或违约：
- 如果实际施工人在施工过程中存在违法行为（如使用劣质材料、偷工减料等）或严重违约行为（如未按约定时间完成工程、工程质量严重不达标等），单位有权依据法律规定和合同约定进行清退。
- 法律依据：根据《民法典》第五百七十七条，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。在严重违约的情况下，守约方有权解除合同。
工程需要或政策调整：
- 在某些特殊情况下，如工程因设计变更、规划调整等原因需要停止施工，或者因政策调整导致工程无法继续进行，单位可能需要根据实际情况清退实际施工人。
- 注意：这种情况下，单位应尽可能与实际施工人协商解决，并按照合同约定或法律规定给予相应的补偿。
三、单位清退实际施工人的程序与注意事项
程序合法：
- 单位在清退实际施工人时，应确保程序合法，包括提前通知、协商解决、办理交接手续等。
- 如果实际施工人拒绝配合或存在争议，单位应通过法律途径解决，如提起诉讼或申请仲裁。
证据充分：
- 单位在清退实际施工人前，应收集并保存充分的证据，以证明实际施工人存在违约或违法行为，以及单位清退的合法性和合理性。
补偿与赔偿：
- 如果清退实际施工人导致其遭受损失，单位应根据合同约定或法律规定给予相应的补偿或赔偿。
- 法律依据：根据《民法典》第五百八十四条，当事人一方不履行合同义务或者履行合同义务不符合约定，造成对方损失的，损失赔偿额应当相当于因违约所造成的损失，包括合同履行后可以获得的利益；但是，不得超过违约一方订立合同时预见到或者应当预见到的因违约可能造成的损失。
四、实际施工人的权益保护
- 实际施工人在被清退时，也有权维护自己的合法权益。如果认为单位的清退行为违法或不合理，可以通过法律途径提起诉讼或申请仲裁，要求单位承担相应的法律责任。
总结与建议：单位在清退实际施工人时，应严格遵守法律规定和合同约定，确保程序合法、证据充分，并妥善处理补偿与赔偿问题。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。