关于您提出的“在中介这里签的合同到厂里面离职了，离职协议是到工厂签还是到中介那里签”的问题，我根据您的情况进行了详细分析，以下是我的解答：
首先，结论取决于您与中介及工厂之间的合同关系。
如果您是与中介签订的劳动合同，并被派遣到工厂工作：
- 在这种情况下，您与中介之间建立了劳动关系，而工厂只是您的实际工作地点。因此，当您决定离职时，应该与中介协商并签订离职协议，因为中介是您的法律上的雇主。
如果您是直接与工厂签订的劳动合同，但中介只是提供了介绍或中介服务：
- 在这种情况下，您与工厂之间建立了直接的劳动关系。因此，离职时您应该直接与工厂协商并签订离职协议。
进一步分析：
- 查看合同内容：为了明确您的离职手续应该在哪里办理，建议您首先查看自己签订的劳动合同或相关协议。合同中通常会明确您的雇主是谁，以及离职时应该遵循的程序。
- 与雇主沟通：无论您的雇主是中介还是工厂，都建议您在离职前与雇主进行充分沟通，明确离职的具体事宜，包括离职时间、离职原因、离职后的义务（如保密义务、竞业禁止等）以及离职补偿（如有）等。
- 法律保障：在离职过程中，如果您遇到任何不公正待遇或权益受到侵害，都可以依法维护自己的合法权益。例如，如果雇主拒绝与您签订离职协议或拒绝支付离职补偿，您可以向当地劳动监察部门投诉或寻求法律援助。
总结：
因此，您应该根据自己的合同关系来确定离职协议的签订对象。如果是与中介签订的劳动合同，则应与中介签订离职协议；如果是直接与工厂签订的劳动合同，则应与工厂签订离职协议。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。