结论前置：您干了四天离开工厂后，工资一般应找劳务中介要，但具体也要看您与劳务中介、工厂之间的约定或实际情况。以下从不同角度为您详细分析：
从劳务中介与您的关系角度
若您与劳务中介签订了劳务合同或相关协议：
- 劳务中介作为与您建立劳务关系的主体，根据合同约定，有义务向您支付相应的劳务报酬。您干了四天离开工厂，只要这四天您按照约定提供了劳务，劳务中介就应当按照合同约定的工资标准和支付方式向您支付这四天的工资。
- 法律依据：根据《中华人民共和国民法典》中关于合同的相关规定，当事人应当按照约定全面履行自己的义务。您与劳务中介签订的合同是双方真实意思的表示，双方都应遵守。
若您未与劳务中介签订书面合同，但存在事实劳务关系：
- 即使没有书面合同，只要您实际为劳务中介提供了劳务，且劳务中介接受了您的劳务，那么双方之间就形成了事实上的劳务关系。劳务中介同样有义务向您支付相应的报酬。
- 建议：在这种情况下，您可以收集能够证明您与劳务中介存在劳务关系的证据，如工作证、考勤记录、工作服、与劳务中介工作人员的聊天记录等，以便在主张工资时提供有力的支持。
从工厂与您的关系角度
若工厂直接与您约定了工资支付事宜：
- 虽然您是通过劳务中介进的厂，但如果工厂在您入职时直接与您约定了工资的支付方式、标准等，并且明确表示由工厂直接向您支付工资，那么在您干了四天离开工厂后，您可以直接向工厂主张这四天的工资。
- 示例：比如工厂在您入职时给您发放了工资卡，并告知您每月工资由工厂直接打入该卡，那么在这种情况下，您就可以向工厂要求支付工资。
若工厂与劳务中介有明确约定，工资由劳务中介支付：
- 如果工厂与劳务中介在合作协议中明确约定，工厂将劳务费用支付给劳务中介，由劳务中介再向您支付工资，那么在这种情况下，您还是应该向劳务中介主张工资。
- 建议：您可以要求劳务中介出示其与工厂之间的合作协议，以确认工资的支付主体。
特殊情况处理
- 若劳务中介和工厂相互推诿：
- 如果劳务中介和工厂都拒绝向您支付工资，互相推诿责任，您可以先尝试与双方进行协商，明确各自的责任和义务。如果协商无果，您可以向当地的劳动监察部门投诉，劳动监察部门有权对用人单位和劳务中介的违法行为进行查处，并责令其支付拖欠的工资。
- 法律依据：根据《劳动保障监察条例》的相关规定，劳动保障行政部门对用人单位和劳务中介遵守劳动保障法律、法规和规章的情况进行监督检查，对违反劳动保障法律、法规或者规章的行为，有权予以纠正和查处。
最后提醒：在处理此类纠纷时，建议您保留好相关证据，如工作记录、沟通记录等，以便在需要时维护自己的合法权益。如果您还有其他疑问或需要进一步的法律帮助，可以直接向我咨询。