结论：在建设单位未主张逾期违约赔偿的情况下，发包人是否可以主张实际施工人的责任，需根据具体情况分析，主要涉及合同相对性原则、实际施工人身份及责任承担方式等因素。以下从不同角度详细阐述：

1. 合同相对性原则下的责任承担

• 一般原则：根据《民法典》及相关司法解释，合同具有相对性，即合同权利义务仅约束合同双方当事人。在建设工程合同中，若发包人与承包人（总承包人或分包人）签订合同，而实际施工人并非合同一方，则发包人原则上不能直接向实际施工人主张违约责任。
• 例外情形：若实际施工人以发包人为被告主张权利，且发包人欠付工程价款，根据《最高人民法院关于审理建设工程施工合同纠纷案件适用法律问题的解释（一）》第四十三条，发包人需在欠付工程价款范围内对实际施工人承担责任。但此情形仅限于实际施工人主动主张权利，且发包人欠付工程款。

2. 实际施工人身份的认定

• 定义：实际施工人是指无效合同中实际完成工程建设的主体，包括转包、违法分包及借用资质等情形下的施工人。
• 责任承担：若实际施工人因转包、违法分包等行为导致合同无效，其可能需对工程质量、工期等承担责任。但发包人主张责任的前提是实际施工人行为直接导致发包人损失，且该损失与合同无效或实际施工人行为存在因果关系。

3. 发包人主张实际施工人责任的具体情形

• 情形一：发包人直接与实际施工人结算
  • 若发包人明知或应知实际施工人身份，且直接与其结算工程款，可能被认定为突破合同相对性，此时发包人可能需对实际施工人行为承担一定责任。但此情形需结合具体证据判断，如结算协议、付款凭证等。
• 情形二：实际施工人行为导致发包人损失
  • 若实际施工人因施工质量、工期延误等行为导致发包人损失，发包人可依据《民法典》第七百九十九条（建设工程合同条款）及侵权责任法相关规定，向实际施工人主张赔偿。但需证明损失与实际施工人行为存在直接因果关系。
• 情形三：发包人未主张逾期违约赔偿，但实际施工人存在过错
  • 若建设单位（业主）未向发包人主张逾期违约赔偿，发包人能否转而主张实际施工人责任？此时需区分：

       - 若发包人因实际施工人原因导致对建设单位违约，发包人可依据与实际施工人的合同关系（如转包合同）主张违约责任或赔偿。
       - 若发包人未对建设单位承担违约责任，其直接主张实际施工人责任可能缺乏法律依据，除非能证明实际施工人行为导致其直接损失（如额外支出、信誉损失等）。
    

4. 法律建议

• 发包人角度：
  1. 完善合同条款：在转包、分包合同中明确实际施工人责任范围及违约处理方式。
  2. 保留证据：保存与实际施工人沟通、结算、质量验收等证据，以备主张权利时使用。
  3. 及时主张权利：若因实际施工人行为导致损失，应及时通过协商、诉讼或仲裁方式主张权利，避免超过诉讼时效。
• 实际施工人角度：
  1. 遵守法律法规：避免转包、违法分包等行为，确保合同效力。
  2. 明确权利义务：在签订合同时明确约定工程款支付、质量标准、工期等条款，减少纠纷风险。

5. 可能的法律后果

• 若发包人未经合法程序直接主张实际施工人责任，可能因缺乏法律依据被驳回诉讼请求。
• 若实际施工人行为导致发包人损失，且发包人能证明因果关系，实际施工人可能需承担赔偿责任，包括修复费用、工期延误损失等。

总结：发包人能否主张实际施工人责任需结合合同相对性、实际施工人身份及具体损失情形综合判断。建议发包人在遇到此类问题时，及时咨询专业律师，通过合法途径维护自身权益。如有进一步疑问，可直接向我咨询。