实际施工人在特定条件下确实可以直接起诉发包人，但这一权利并非无限制，而是需要依据相关法律法规及具体情况来综合判断。以下是对此问题的详细解答：
一、存在直接合同关系的情况
如果实际施工人与发包人之间签订了有效的建设工程施工合同，那么双方就形成了直接的合同关系。在这种情况下，实际施工人当然可以基于合同条款直接起诉发包人，以维护自身的合法权益。这是合同法基本原则的直接应用，即合同双方应严格遵守合同约定，并履行各自的义务。
二、无直接合同关系但满足特定条件的情况
即使实际施工人与发包人之间没有直接的合同关系，但在一定条件下，实际施工人也可以直接向发包人主张权利。这一特殊规定主要来源于《最高人民法院关于审理建设工程施工合同纠纷案件适用法律问题的解释（一）》第四十三条。具体来说，需要满足以下条件：
无效合同关系：实际施工人通常是在转包、违法分包或挂靠等无效合同关系下进行工程建设的。这些行为破坏了建筑市场的正常秩序，因此法律赋予实际施工人在特定情况下直接起诉发包人的权利。
转包人或违法分包人怠于行使权利：当转包人或违法分包人不积极向发包人主张工程款，导致实际施工人的权益难以实现时，法律允许实际施工人绕过他们直接起诉发包人。这体现了法律对弱势群体权益的保护。
发包人欠付工程款：法院在受理此类案件时，会查明发包人是否欠付转包人或违法分包人建设工程价款以及具体的欠付数额。只有在发包人存在欠付的情况下，才会判决其在欠付范围内对实际施工人承担支付责任。
三、法律原则与实际应用
合同相对性原则的突破：虽然合同法强调合同相对性，即合同权利义务仅在合同当事人之间产生效力，但在建设工程领域，为了保障实际施工人的合法权益和维护建筑市场秩序，法律在一定条件下突破了这一原则。
保护弱势群体与社会稳定：允许实际施工人在特定条件下直接起诉发包人，既体现了法律对弱势群体的关怀与保护，也有助于减少因工程款纠纷引发的社会问题，维护社会稳定。
四、注意事项
并非所有实际施工人都能直接起诉发包人：根据《最高人民法院关于审理建设工程施工合同纠纷案件适用法律问题的解释（一）》第四十四条的规定，借用资质及多层转包和违法分包关系中的实际施工人不能突破合同相对性原则，以发包人为被告主张权利。
需准备充分证据：实际施工人在起诉发包人时，需要准备充分的证据来证明自己的实际施工身份、工程量以及发包人欠付工程款的事实等。
综上所述，实际施工人能否直接起诉发包人需根据具体情况和法律规定来判断。在存在直接合同关系的情况下，当然可以基于合同条款直接起诉；在无直接合同关系但满足特定条件时，也可以依据相关法律规定突破合同相对性直接起诉发包人。这一制度设计旨在平衡各方利益，保障建筑市场的健康发展。