如果有人通过各个中介打听您在哪个工厂上班，这可能涉及到您的个人隐私和职场安全问题，需要分情况来考虑和应对：

1. 若打听者并无恶意，仅为好奇或误传：

   • 法律背景：虽然我国法律并未明确规定打听他人工作单位为违法行为，但个人隐私权是受法律保护的。工作单位作为个人职业信息的一部分，属于个人隐私的范畴。
   • 建议：您可以礼貌地告知对方，您不希望公开自己的工作单位，并请求对方尊重您的隐私。如果对方持续追问，您可以明确表达自己的不满，并考虑是否需要进一步采取措施。

2. 若打听者存在恶意，如为了骚扰、报复或进行不正当竞争：

   • 法律背景：根据《中华人民共和国民法典》的相关规定，自然人享有隐私权，任何组织或者个人不得以刺探、侵扰、泄露、公开等方式侵害他人的隐私权。如果打听者的行为构成了对您隐私权的侵犯，您有权要求其停止侵害，并可以寻求法律救济。
   • 建议：
     • 收集证据：保留对方打听您工作单位的证据，如聊天记录、录音等。
     • 与对方沟通：尝试与对方沟通，明确告知其行为的违法性和对您造成的困扰，要求其停止打听。
     • 寻求帮助：如果对方不听劝阻，您可以向所在工厂的人事部门或安全部门报告，寻求他们的帮助和支持。同时，您也可以考虑向公安机关报案，或者咨询我这样的专业律师，通过法律途径维护自己的合法权益。

3. 若打听行为已经对您的生活或工作造成了实际影响：

   • 法律后果：如果打听者的行为已经对您的生活或工作造成了实际影响，如导致您受到骚扰、威胁或工作上的不公平对待，那么对方的行为可能不仅侵犯了您的隐私权，还可能涉及其他违法行为，如诽谤、侮辱或侵犯名誉权等。
   • 建议：在这种情况下，您应该立即采取行动，保护自己的合法权益。除了上述的收集证据、与对方沟通和寻求帮助外，您还可以考虑向法院提起诉讼，要求对方承担相应的法律责任。

面对有人通过中介打听您工作单位的情况，您需要保持冷静，根据不同情况采取相应的应对措施。如果对方的行为已经构成了对您隐私权的侵犯或其他违法行为，您应该及时寻求法律帮助，维护自己的合法权益。如果您有任何法律上的疑问或需要进一步的帮助，请随时向我咨询。