针对您提出的“没签订合同施工方拒不退场归什么部门管理”的问题，结论前置如下：

1. 一般情况下，此类纠纷应由建设行政主管部门或相关行业主管部门管理。
2. 若纠纷涉及法律诉讼，则最终需通过法院解决。

详细分析如下：

一、建设行政主管部门或相关行业主管部门管理

在建设工程领域，即使双方未签订书面合同，但一旦形成事实上的建设工程施工关系，施工方就应当按照约定或行业惯例完成施工任务并退场。若施工方拒不退场，这通常涉及到工程管理的秩序和行业规范，因此，建设行政主管部门或相关行业主管部门（如住房和城乡建设部门）有权对此类纠纷进行管理和调解。

这些部门会根据相关法律法规和行业规范，对施工方的行为进行评估，并视情况采取相应的管理措施，如责令退场、罚款等。同时，他们也可以组织双方进行协商，寻求和解方案，以维护建设工程的正常进行和行业的良好秩序。

二、通过法律诉讼解决

如果建设行政主管部门或相关行业主管部门的调解未能达成一致，或者双方不愿意通过调解解决纠纷，那么最终需要通过法律诉讼来解决。在此情况下，您可以向法院提起诉讼，要求施工方退场并承担相应的违约责任。

在诉讼过程中，法院会根据双方提供的证据和法律法规，对纠纷进行审理并作出判决。如果判决施工方退场，但施工方仍拒不执行，法院还可以采取强制执行措施，如查封、扣押、拍卖等，以确保判决的履行。

三、特别提醒

1. 证据收集：在处理此类纠纷时，证据的收集至关重要。您应尽可能收集与施工方形成事实上建设工程施工关系的证据，如施工记录、现场照片、证人证言等，以证明施工方的存在和违约行为。
2. 法律咨询：由于建设工程纠纷涉及复杂的法律关系和行业规范，建议您在处理此类纠纷时咨询专业律师的意见。律师可以根据您的具体情况，为您提供专业的法律建议和诉讼策略，帮助您更好地维护自己的合法权益。

最后，如果您在处理此类纠纷过程中遇到任何法律问题或需要进一步的法律帮助，请随时向我咨询。我作为一名专业律师，将竭诚为您提供专业的法律服务。