针对您提出的“发包方如何追回施工单位不承认的直接支付给实际施工人的工程款”这一问题，以下是我为您提供的详细解答：
首先，要明确的是，发包方在追回此类工程款时，应主要依靠法律途径来维护自身权益。具体步骤如下：
一、积极协商并留存记录
与施工单位协商：
- 发包方应首先尝试与施工单位进行积极、友好的协商，明确表达自身对于直接支付给实际施工人的工程款的不认可，并要求施工单位给出合理的解释和解决方案。
- 在协商过程中，务必仔细留存好所有相关的协商记录，包括书面文件、电子邮件、短信、通话录音等，这些记录都可能成为日后维权的重要证据。
若协商无果：
- 如果协商未能达成一致，发包方应考虑采取进一步的法律行动。
二、向有管辖权的人民法院提起诉讼
准备证据：
- 在提起诉讼前，发包方需要准备一系列相关的证据，包括但不限于：施工合同、工程验收报告、直接支付给实际施工人的付款凭证（如银行转账记录、收据等）、与施工单位的沟通记录等。
- 这些证据应能够清晰地证明发包方与施工单位之间的合同关系、工程款的支付情况以及施工单位对于直接支付给实际施工人的工程款的不认可态度。
明确诉讼请求：
- 在提起诉讼时，发包方需要明确自己的诉讼请求，例如要求施工单位返还直接支付给实际施工人的工程款、支付逾期利息或违约金等。
提交诉讼并等待审理：
- 将准备好的证据和诉讼请求提交给有管辖权的人民法院，并等待法院的审理。
- 在诉讼过程中，发包方应积极配合法院的工作，提供必要的补充证据或信息。
三、申请强制执行
判决生效后：
- 如果法院最终判决施工单位需要返还直接支付给实际施工人的工程款，那么在判决生效后，发包方可以申请强制执行。
法院采取措施：
- 法院会通过各种手段去查询施工单位的财产情况，并采取相应的措施来保障判决的执行，例如冻结施工单位的银行存款、拍卖其拥有的房产或车辆等财产。
四、注意事项
关注诉讼时效：
- 发包方在追讨工程款的过程中，应特别注意诉讼时效的问题。一般来说，向人民法院请求保护民事权利的诉讼时效期间为三年，要从自己知道或者应当知道自己的权利被侵害之日开始计算。
明确被告主体：
- 在提起诉讼时，发包方应准确确定责任承担方，可能涉及施工单位、转包方、违法分包方等，需要理清法律关系，确保诉讼的针对性和有效性。
申请财产保全：
- 为保障将来判决能顺利执行，发包方可以在起诉前或诉讼中申请对施工单位的财产进行查封、冻结等保全措施。
综上所述，发包方在追回施工单位不承认的直接支付给实际施工人的工程款时，应依靠法律途径来维护自身权益，通过积极协商、提起诉讼、申请强制执行等步骤来逐步解决问题。同时，也要注意关注诉讼时效、明确被告主体、申请财产保全等注意事项，以确保自身权益得到最大程度的保障。