结论：离职时是找厂子还是中介，主要取决于你与中介、厂子之间签订的合同内容以及实际的工作关系。以下分情况详细说明：

1. 若你与中介签订的是劳务派遣合同，且实际在厂子工作：

   • 法律关系：在这种情况下，你与中介构成劳务派遣关系，中介是用人单位，厂子是用工单位。
   • 离职处理：离职时，你通常需要先向中介提出离职申请，并按照与中介签订的劳务派遣合同中的约定办理离职手续。中介作为用人单位，会负责处理与你的劳动关系终止、工资结算等事宜。同时，由于你实际在厂子工作，可能也需要与厂子进行工作交接等事宜，但这主要是基于工作安排，而非劳动关系上的离职。

2. 若你与中介签订的是居间合同（即中介仅为你提供找工作服务，不构成劳动关系），且你直接与厂子签订劳动合同：

   • 法律关系：在这种情况下，中介只是作为居间人，为你与厂子之间订立劳动合同提供机会或媒介服务，你与厂子构成直接的劳动关系。
   • 离职处理：离职时，你直接向厂子提出离职申请，并按照与厂子签订的劳动合同中的约定办理离职手续。中介在此过程中不承担劳动关系上的责任，因为中介并未成为你的用人单位。

3. 特殊情况处理：

   • 合同约定不明或存在争议：如果合同中的条款对离职处理约定不明或存在争议，建议先与中介和厂子进行协商，尝试达成一致意见。
   • 中介或厂子拒绝履行义务：如果中介或厂子拒绝按照合同约定或法律规定履行离职处理义务，你可以向当地的劳动监察部门投诉或申请劳动仲裁，以维护自己的合法权益。

法律建议：

• 在签订合同时，务必仔细阅读合同条款，特别是关于离职处理、工资结算、违约责任等方面的约定，确保自己的权益得到充分保障。
• 如果对合同条款存在疑问或不确定的地方，建议及时咨询专业律师或法律机构，以获取准确的法律意见。
• 在离职过程中，保留好相关证据（如离职申请、工作交接单、工资结算单等），以便在发生争议时能够证明自己的主张。

可能法律后果：

• 如果未按照合同约定或法律规定办理离职手续，可能会面临违约责任、工资扣减等不利后果。
• 如果与中介或厂子之间发生争议且无法协商解决，可能需要通过法律途径（如劳动仲裁、诉讼等）来维护自己的权益，这可能会耗费一定的时间和精力。