您应当首先尝试向出国劳务公司主张退还押金；若无法联系到公司或公司拒绝退还，再考虑向中间人主张权利，但需根据中间人的具体行为和性质来判断其是否应承担责任。以下是从不同角度为您详细分析的情况：
一、向出国劳务公司主张权利
合同关系：
- 您与出国劳务公司之间通常存在一份服务合同或协议，其中会明确双方的权利和义务，包括押金的支付与退还条件。
- 如果合同中明确规定了押金在未办成出国劳务时应退还，那么您有权依据合同条款要求公司退还押金。
法律依据：
- 根据《中华人民共和国民法典》的相关规定，合同双方应当按照约定履行自己的义务。如果一方未履行或未完全履行合同义务，另一方有权要求其承担违约责任，包括退还已支付的款项。
行动建议：
- 首先，尝试与出国劳务公司联系，说明情况并要求退还押金。
- 如果公司拒绝退还或无法联系到公司，您可以考虑通过法律途径解决，如向法院提起诉讼或申请仲裁。
二、向中间人主张权利
中间人的角色与责任：
- 中间人在此情况下可能扮演了介绍人、代理人或居间人的角色。其是否应承担责任取决于其具体行为以及您与中间人之间的约定。
- 如果中间人只是简单地介绍了出国劳务公司，并未参与合同的签订或押金的收取，那么其可能不承担直接的法律责任。
- 如果中间人参与了合同的签订过程，或者以某种方式承诺了退还押金的责任，那么您可能有权向其主张权利。
法律依据：
- 如果中间人存在过错或违约行为，如故意隐瞒重要信息、误导您签订合同等，您可能可以依据《中华人民共和国民法典》中关于代理、居间合同或侵权责任的相关规定，要求中间人承担相应的法律责任。
行动建议：
- 收集与中间人相关的证据，如聊天记录、转账记录、书面协议等，以证明中间人的行为和责任。
- 尝试与中间人协商解决，如果协商无果，您可以考虑通过法律途径追究其责任。但需要注意的是，向中间人主张权利可能存在一定的法律风险和不确定性，因此应谨慎行事。
三、综合建议
优先向出国劳务公司主张：
- 由于您是与出国劳务公司直接签订的合同并支付了押金，因此优先向公司主张权利是更为直接和有效的途径。
保留证据：
- 无论您选择向谁主张权利，都应保留好所有相关的证据，如合同、转账记录、聊天记录等，以证明您的主张和对方的责任。
寻求法律帮助：
- 如果您在处理此事过程中遇到困难或不确定如何操作，建议及时咨询专业律师（比如我）以获取更具体的法律建议和帮助。
希望以上分析能对您有所帮助。如果您还有其他问题或需要进一步的法律帮助，请随时向我咨询。