实际施工人在特定条件下可以直接起诉发包人要求返还工程保证金或支付工程款。以下是对此问题的详细分析：
一、法律原则与合同相对性
合同相对性是民事领域的基本原则，即合同上署名盖章的当事方才有权要求另一方履行义务。在挂靠关系中，实际施工人借用有资质的建筑施工企业名义与发包人签订建设工程施工合同，此时合同上显示的是被借用公司的名字。因此，从合同相对性出发，实际施工人似乎无权直接向发包人主张权利。
二、突破合同相对性的条件
然而，在特定条件下，实际施工人可以突破合同相对性，直接向发包人主张权利。这些条件主要包括：
发包人明知或应知挂靠事实：如果发包人在签订合同时已经明知或应知实际施工人为借用他人资质，那么被挂靠方与发包人就建设特定工程实际上缺乏相互设定权利义务的合意。此时，挂靠方与发包人围绕合同订立、履行形成了事实上的建设工程施工合同关系，挂靠方有权基于事实上的合同关系向发包人主张权利，包括要求返还工程保证金或支付工程款。
出借资质人怠于履行权利：在某些情况下，如果出借资质人（即被挂靠方）怠于履行权利，如未及时向发包人主张工程款，实际施工人可以提起代位权诉讼，直接向发包人主张权利。但这一路径并非直接起诉发包人要求返还保证金或支付工程款的常规方式，而是代位权诉讼的特殊应用。
三、实际施工人的证明责任
为了直接起诉发包人并成功主张权利，实际施工人需要承担证明责任，证明：
四、法律依据与司法实践
法律依据：根据《中华人民共和国民法典》第七百九十三条第一款规定：“建设工程施工合同无效，但是建设工程经验收合格的，可以参照合同关于工程价款的约定折价补偿承包人。”这一条款为实际施工人在合同无效但工程验收合格的情况下主张权利提供了法律依据。
司法实践：在司法实践中，法院也倾向于保护实际施工人的合法权益。例如，在某些案例中，法院认定实际施工人与发包人之间形成了事实上的建设工程施工合同关系，并判决发包人直接向实际施工人支付工程款。
五、建议与风险提示
建议：如果你作为实际施工人希望直接起诉发包人要求返还工程保证金或支付工程款，建议首先收集并整理相关证据，包括与发包人的沟通记录、工程资料等，以证明你的实际施工人身份以及发包人明知或应知挂靠事实。
风险提示：需要注意的是，直接起诉发包人存在一定的法律风险和不确定性。如果证据不足或法律适用不当，可能导致诉讼失败。因此，在决定起诉前，建议充分评估风险并咨询专业律师的意见。
在实际操作中，每个案件的具体情况都有所不同，因此在实际施工人考虑直接起诉发包人时，务必根据案件的具体情况制定合适的诉讼策略。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。