实际施工人在特定条件下确实可以直接起诉发包人，但这一权利并非无限制，而是需要依据相关法律法规及具体情况来综合判断。以下是对这一问题的详细解答：
一、存在直接合同关系的情况
如果实际施工人与发包人之间签订了有效的建设工程施工合同，那么双方就形成了直接的合同关系。在这种情况下，实际施工人当然可以基于合同条款直接起诉发包人，以维护自身的合法权益。这是合同法基本原则的直接体现，即合同双方应严格遵守合同约定，并履行各自的义务。
二、无直接合同关系但满足特定条件的情况
即使实际施工人与发包人之间没有直接的合同关系，但在以下特定条件下，实际施工人也可以直接向发包人主张权利：
无效合同关系：实际施工人往往是在转包、违法分包或挂靠等无效合同关系下进行工程建设的。这些行为破坏了建筑市场的正常秩序，因此法律赋予实际施工人在特定情况下直接起诉发包人的权利。
转包人或违法分包人怠于行使权利：当转包人或违法分包人不积极向发包人主张工程款，导致实际施工人的权益难以实现时，法律允许实际施工人绕过他们直接起诉发包人。这体现了法律对弱势群体权益的保护，确保实际施工人的劳动成果能够得到应有的回报。
发包人欠付工程款：法院在受理此类案件时，会查明发包人是否欠付转包人或违法分包人建设工程价款以及具体的欠付数额。只有在发包人存在欠付的情况下，才会判决其在欠付范围内对实际施工人承担支付责任。这一规定确保了实际施工人不会因发包人的欠付行为而遭受损失。
三、法律依据
实际施工人直接起诉发包人的法律依据主要来源于《中华人民共和国民法典》及相关的司法解释。特别是《最高人民法院关于审理建设工程施工合同纠纷案件适用法律问题的解释（一）》第四十三条，它明确规定了实际施工人在特定条件下可以直接向发包人主张权利，并明确了发包人在欠付工程款范围内对实际施工人承担支付责任。
四、实际应用与注意事项
在实际应用中，实际施工人需要注意以下几点：
收集证据：在起诉前，实际施工人需要收集充分的证据来证明自己与发包人之间存在上述特定条件，如无效合同关系、转包人或违法分包人怠于行使权利以及发包人欠付工程款等。
遵循法律程序：实际施工人需要按照法律程序进行起诉，包括提交起诉状、提供证据材料、参加庭审等。
注意诉讼时效：实际施工人需要注意诉讼时效的问题，确保在法定的诉讼时效期间内提起诉讼。
综上所述，实际施工人能否直接起诉发包人取决于具体情况和法律规定。在存在直接合同关系的情况下，当然可以基于合同条款直接起诉；在无直接合同关系但满足特定条件时，也可以依据相关法律规定突破合同相对性直接起诉发包人。这一制度设计旨在平衡各方利益，保障建筑市场的健康发展。