实际施工人在特定条件下可以直接起诉发包人，但这一权利受到严格限制，并需依据相关法律法规及具体情况来判断。以下是对此问题的详细分析：
一、存在直接合同关系的情况
如果实际施工人与发包人之间签订了有效的建设工程施工合同，那么实际施工人当然可以基于合同条款直接起诉发包人。这是合同法基本原则的体现，即合同双方应遵守合同约定，履行各自义务。在这种情况下，实际施工人享有合同约定的权利，包括工程款的支付请求权等。
二、无直接合同关系但满足特定条件的情况
即使实际施工人与发包人之间没有直接的合同关系，根据《最高人民法院关于审理建设工程施工合同纠纷案件适用法律问题的解释（一）》的相关规定，实际施工人在一定条件下也可以直接向发包人主张权利。具体来说，需要满足以下条件：
无效合同关系：实际施工人通常是在转包、违法分包或挂靠等无效合同关系下进行工程建设的。这些违法行为破坏了建筑市场的正常秩序，但法律因此赋予实际施工人在特定情况下直接起诉发包人的权利，以保障其合法权益。
转包人或违法分包人怠于行使权利：当转包人或违法分包人不积极向发包人主张工程款，导致实际施工人的权益难以实现时，法律允许实际施工人绕过他们直接起诉发包人。这体现了法律对弱势群体权益的保护，防止因中间环节的不作为而损害实际施工人的利益。
发包人欠付工程款：法院在受理此类案件时，会查明发包人是否欠付转包人或违法分包人建设工程价款以及具体的欠付数额。只有在发包人存在欠付的情况下，才会判决其在欠付范围内对实际施工人承担支付责任。这是为了确保实际施工人的权益得到切实保障，同时避免发包人因非自身原因而承担过重的责任。
三、仲裁条款的影响
针对您提到的“实际施工人与承包人约定了仲裁条款”的情况，这主要影响的是实际施工人与承包人之间的纠纷解决方式。仲裁条款是双方自愿达成的，约定通过仲裁方式解决争议，具有排他性。然而，这一条款并不直接限制实际施工人向发包人主张权利。如果实际施工人选择直接起诉发包人，且满足上述特定条件，那么仲裁条款的存在并不会成为其起诉的障碍。
四、法律建议
审查合同关系：首先，实际施工人应仔细审查自己与发包人、承包人之间的合同关系，明确是否存在直接合同关系以及合同的有效性。
收集证据：在准备起诉前，实际施工人应收集充分的证据，包括工程合同、施工记录、结算单据等，以证明自己的权益受到侵害以及发包人存在欠付工程款的事实。
咨询专业律师：由于建设工程纠纷涉及复杂的法律关系和专业知识，实际施工人在起诉前应咨询专业律师，以获取准确的法律意见和诉讼策略。
注意诉讼时效：实际施工人还应注意诉讼时效的问题，确保在法定的诉讼时效期间内提起诉讼，以维护自己的合法权益。
如果您在实际操作中遇到任何问题或需要进一步的法律帮助，请随时向我咨询。