核心结论：在此种情况下，要回工程款，可尝试通过实际施工人身份主张权利、收集证据证明实际施工事实、与相关方协商或通过法律途径解决。以下为具体分析：

核心前提

与发包方没有合同但实际施工，工程款却支付给了有合同的一方，这涉及到实际施工人权益保护以及合同相对性原则突破的问题。

具体分析

1. 明确自身法律地位
   • 首先要确定自己是否属于实际施工人。实际施工人是指转包和违法分包的承包人，他们实际投入了资金、材料和劳力进行了工程施工，但因与发包方没有直接的合同关系，在工程款结算等方面往往面临困境。如果符合实际施工人的条件，那么就有了一定的法律基础来主张自己的权益。
   • 例如，在一个建筑工程中，A公司作为总承包方与发包方签订了合同，但A公司将部分工程违法分包给了没有资质的B，B又转包给了你进行实际施工。此时，你就属于实际施工人。
2. 收集证据证明实际施工事实
   • 这是主张权利的关键环节。需要收集能够证明自己实际施工的各类证据，如施工过程中的签证单、材料采购凭证、工人工资发放记录、与上下游供应商的合同及付款记录、现场施工照片和视频等。这些证据可以形成一个完整的证据链，证明你确实参与了工程施工并投入了相应的成本。
   • 比如，签证单可以证明你在施工过程中对工程量、工程变更等事项的确认；材料采购凭证可以证明你为工程购买了所需的材料；工人工资发放记录可以证明你组织了施工人员进行施工。
3. 与相关方协商
   • 可以先尝试与有合同的一方进行协商，说明自己实际施工的情况，要求其将收到的工程款中属于你的部分支付给你。在协商过程中，要明确自己的诉求和依据，以平和、理性的态度进行沟通。
   • 同时，也可以与发包方进行沟通，向发包方说明实际情况，虽然与发包方没有合同关系，但实际施工的是你，发包方在明知实际施工人的情况下，有义务在欠付工程款范围内承担责任（根据相关司法解释，实际施工人可以突破合同相对性，向发包方主张权利，但发包方仅在欠付工程价款范围内对实际施工人承担责任）。
4. 通过法律途径解决
   • 起诉有合同的一方：如果有合同的一方拒绝支付工程款，你可以以实际施工人的身份向法院提起诉讼，要求其支付工程款及相应的利息、违约金等。在诉讼过程中，要充分提交前面收集的证据，证明自己的主张。
   • 将发包方列为共同被告：为了更好地保障自己的权益，可以将发包方和有合同的一方列为共同被告。要求发包方在欠付工程款范围内承担责任，有合同的一方承担直接支付工程款的责任。法院会根据双方的证据和法律规定进行审理和判决。
   • 申请财产保全：在起诉的同时，为了防止对方转移财产，导致判决无法执行，可以向法院申请财产保全，冻结对方的银行账户、查封其房产、车辆等财产，以确保自己的权益能够得到实现。

在实际操作过程中，情况可能会比较复杂，涉及到多个法律关系和证据的收集与认定。如果遇到此类问题，可以直接向我咨询，我会根据你的具体情况提供详细的法律建议和解决方案。