实际施工人在特定条件下确实可以直接起诉发包人，但这一权利并非无限制，而是需要依据相关法律法规及具体情况来综合判断。以下是对这一问题的详细解答：
一、直接合同关系下的起诉权利
如果实际施工人与发包人之间签订了有效的建设工程施工合同，那么双方就形成了直接的合同关系。在这种情况下，实际施工人当然可以基于合同条款直接起诉发包人，以维护自身的合法权益。这是合同法基本原则的直接体现，即合同双方应当遵守合同约定，履行各自的义务。
二、无直接合同关系下的特殊规定
即便实际施工人与发包人之间没有直接的合同关系，根据《最高人民法院关于审理建设工程施工合同纠纷案件适用法律问题的解释（一）》的相关规定，实际施工人在一定条件下也可以直接向发包人主张权利。具体来说，这些条件包括：
无效合同关系：实际施工人往往是在转包、违法分包或挂靠等无效合同关系下进行工程建设的。这些行为破坏了建筑市场的正常秩序，因此法律赋予实际施工人在特定情况下直接起诉发包人的权利。
转包人或违法分包人怠于行使权利：当转包人或违法分包人不积极向发包人主张工程款，导致实际施工人的权益难以实现时，法律允许实际施工人绕过他们直接起诉发包人。这体现了法律对弱势群体权益的保护。
发包人欠付工程款：法院在受理此类案件时，会查明发包人是否欠付转包人或违法分包人建设工程价款以及具体的欠付数额。只有在发包人存在欠付的情况下，才会判决其在欠付范围内对实际施工人承担支付责任。
三、法律依据
实际施工人直接起诉发包方的法律依据主要来源于《中华人民共和国民法典》及相关的司法解释。特别是《最高人民法院关于审理建设工程施工合同纠纷案件适用法律问题的解释（一）》第四十三条，它明确规定了实际施工人以发包人为被告主张权利时，人民法院应当追加转包人或者违法分包人为本案第三人，并在查明发包人欠付建设工程价款的数额后，判决发包人在欠付建设工程价款范围内对实际施工人承担责任。
四、注意事项
需要注意的是，并非所有实际施工人都能突破合同相对性原则直接起诉发包人。例如，借用资质及多层转包和违法分包关系中的实际施工人就不能这样做。这是为了维护建筑市场的秩序和公平竞争的环境。
综上所述，实际施工人能否直接起诉发包人取决于多个因素，包括是否存在直接合同关系、是否满足特定条件以及相关法律法规的规定。在实际操作中，建议实际施工人咨询专业律师以获取更具体的法律建议和指导。