工厂扣除中介服务费，中介以此为由扣工人工资是不合法的。以下是对此问题的详细分析：

一、法律依据

1. 《中华人民共和国劳动法》第五十条：明确规定工资应当以货币形式按月支付给劳动者本人，不得克扣或者无故拖欠劳动者的工资。这意味着，除非有法定或约定的正当理由，否则用人单位（包括中介）不得随意扣减劳动者的工资。

2. 《中华人民共和国劳动合同法》第三十条第一款：进一步强调用人单位应当按照劳动合同约定和国家规定，向劳动者及时足额支付劳动报酬。这同样适用于中介与劳动者之间的劳动关系。

3. 《工资支付暂行规定》第十五条：列举了用人单位可以代扣劳动者工资的几种情形，如代扣个人所得税、社会保险费用等，但并未包括因扣除中介服务费而扣工资的情形。

二、实际情况分析

1. 中介服务费与工资关系：工厂与中介之间的服务费约定，是工厂与中介之间的合同关系，与劳动者无关。中介不能以此为由扣减劳动者的工资。

2. 中介的违法行为：如果中介以扣除中介服务费为由扣减劳动者工资，这实际上侵犯了劳动者的合法权益，属于非法扣减工资的行为。

3. 劳动者的权益保护：劳动者有权获得足额的劳动报酬，这是其基本的劳动权益。如果中介无故扣减工资，劳动者可以通过法律途径维护自己的权益。

三、维权建议

1. 保留证据：劳动者应妥善保存与中介签订的劳动合同、工资单、考勤记录等证据材料，以便在发生纠纷时能够证明自己的权益受到侵害。

2. 协商解决：首先尝试与中介进行协商沟通，明确表达自己对扣减工资的不满，并要求中介提供合理的解释和依据。如果中介无法提供合法依据，应要求中介恢复原有工资水平。

3. 投诉举报：如果协商无果，可以向当地劳动监察部门投诉举报中介的违法行为。劳动监察部门将依法对中介进行调查处理。

4. 申请仲裁或诉讼：必要时，可以向劳动争议仲裁委员会申请仲裁或直接向人民法院提起诉讼。在仲裁或诉讼过程中，劳动者应提供充分的证据来证明自己的权益受到侵害，并要求中介承担相应的法律责任。

综上所述，工厂扣除中介服务费并不能成为中介扣减劳动者工资的理由。如果中介以此为由扣减工资，劳动者应依法维护自己的权益。