实际施工人履约保证金应向谁主张的问题，需根据挂靠关系的性质及合同约定来具体分析，一般而言，存在向被挂靠方或发包人主张两种可能。以下是对此问题的详细分析：
一、向被挂靠方主张的情况
合同相对性原则：
- 在挂靠关系中，实际施工人通常与被挂靠方签订有内部承包合同或挂靠协议。这些合同中往往会明确约定履约保证金的支付、退还等条款。
- 根据合同相对性原则，实际施工人应依据与被挂靠方签订的合同，向被挂靠方主张履约保证金的退还。
被挂靠方的责任：
- 被挂靠方作为名义上的承包人，对实际施工人的履约行为负有一定的监督和管理责任。
- 若因被挂靠方的原因导致履约保证金未能按时退还，实际施工人有权要求被挂靠方承担相应的违约责任。
二、向发包人主张的情况
发包人直接收取保证金：
- 在某些情况下，发包人可能直接要求实际施工人缴纳履约保证金，并出具相应的收据或凭证。
- 若发包人直接收取了履约保证金，且未按照约定退还，实际施工人有权直接向发包人主张退还。
表见代理或突破合同相对性：
- 在特定情况下，如被挂靠方以发包人名义收取保证金，或实际施工人有理由相信被挂靠方有权代表发包人收取保证金时，可能构成表见代理。
- 此外，若因发包人原因导致合同无法履行或解除，且该原因与被挂靠方无关，实际施工人也可能有权突破合同相对性，直接向发包人主张退还履约保证金。但这种情况较为复杂，需具体分析合同条款、双方行为及法律规定。
三、法律建议
审查合同条款：
- 实际施工人应首先审查与被挂靠方签订的合同条款，明确履约保证金的支付、退还条件及责任主体。
收集证据材料：
- 实际施工人应收集与履约保证金相关的所有证据材料，包括收据、凭证、合同、沟通记录等，以证明其主张的合法性。
协商或诉讼：
- 在明确责任主体后，实际施工人可先尝试与责任方进行协商，寻求和解或调解。
- 若协商无果，实际施工人可依法向人民法院提起诉讼，要求责任方退还履约保证金及承担相应违约责任。
在实际操作中，建议实际施工人根据具体情况咨询专业律师，以便更准确地判断责任主体并制定有效的维权策略。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。