结论：在您与劳务派遣公司签订合同后自行离职的情况下，工资一般应由劳务派遣公司（即您所说的“中介”）负责发放，而非实际工作的工厂。不过，具体责任归属还需根据实际情况和合同约定来判断。

详细分析：

1. 劳务派遣关系中的工资支付责任：

   • 在劳务派遣关系中，劳务派遣公司作为用人单位，与劳动者签订劳动合同，并负责劳动者的工资支付、社会保险缴纳等法定责任。
   • 实际工作的工厂（用工单位）则负责提供劳动条件、进行劳动管理，并按照与劳务派遣公司的协议支付劳务费用。
   • 因此，从法律关系上讲，工资应由劳务派遣公司负责发放。

2. 自行离职对工资支付的影响：

   • 自行离职可能涉及违反劳动合同约定或公司规章制度的情况，但这并不改变工资支付的责任主体。
   • 即使您自行离职，劳务派遣公司仍应按照劳动合同约定和法律规定支付您应得的工资，除非劳动合同中有特别约定（如因自行离职导致工资扣减等），且该约定不违反法律法规的强制性规定。

3. 合同约定与实际情况的考量：

   • 如果您与劳务派遣公司签订的劳动合同中明确约定了工资支付方式、时间等条款，且这些条款不违反法律法规的强制性规定，那么应按照合同约定执行。
   • 如果实际工作中存在工厂直接支付工资的情况，这可能是基于劳务派遣公司与工厂之间的特别约定。但即便如此，这种约定也不能免除劳务派遣公司作为用人单位的工资支付责任。在您自行离职后，如果工厂未支付工资，您仍有权向劳务派遣公司追讨。

4. 可能的法律后果与建议：

   • 如果劳务派遣公司或工厂拒绝支付您应得的工资，您可以先尝试与双方协商解决。
   • 协商无果的情况下，您可以向当地劳动监察部门投诉或申请劳动仲裁，以维护自己的合法权益。
   • 在此过程中，建议您保留好与劳务派遣公司签订的劳动合同、工资条、工作证明等相关证据，以便在需要时提供证明。

总结与建议：

在您与劳务派遣公司签订合同后自行离职的情况下，工资一般应由劳务派遣公司负责发放。如果遇到工资支付问题，建议您先查看劳动合同中的相关约定，并与劳务派遣公司和工厂进行沟通协商。如果协商无果，您可以考虑通过法律途径维护自己的权益。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。