结论：工厂以员工有精神病为由退回中介，中介是否有责任需根据具体情况判断，主要涉及员工是否确实患有精神病、工厂退回行为是否合法合规、中介与员工及工厂之间的合同约定等因素。以下从不同角度进行分析：

一、员工是否确实患有精神病

1. 若员工确实患有精神病：

   • 根据《中华人民共和国劳动法》及相关规定，员工患有精神病等严重疾病，在医疗期内，工厂不得随意解除劳动合同或退回中介。若员工处于医疗期，工厂退回行为可能违法，中介若未尽到合理审查或协助义务，可能需承担一定责任。
   • 若员工精神病已严重影响工作，且医疗期满后仍不能从事原工作，也不能从事由工厂另行安排的工作，工厂可以依据《劳动合同法》第四十条的规定，提前三十日以书面形式通知员工本人或者额外支付员工一个月工资后，解除劳动合同。在此情况下，若中介与工厂的合同中有相关约定，中介可能需按约定协助处理，但一般不直接承担责任。

2. 若员工并未患有精神病：

   • 工厂以员工有精神病为由退回中介，可能构成对员工的歧视或诽谤，员工有权要求工厂承担相应的法律责任。中介若未核实员工健康状况即接受退回，可能因未尽到合理审查义务而需承担一定责任，具体取决于中介与员工及工厂之间的合同约定。

二、工厂退回行为是否合法合规

• 工厂退回员工需有合法合规的理由和程序。若工厂未经合法程序，如未进行医疗鉴定、未提前通知员工等，即以员工有精神病为由退回中介，可能构成违法解除劳动合同或违法退回，需承担相应的法律责任。中介若在此过程中未尽到合理审查或协助义务，也可能需承担一定责任。

三、中介与员工及工厂之间的合同约定

• 中介与员工及工厂之间的合同是判断中介责任的重要依据。若合同中明确约定了员工健康状况的审查义务、退回员工的处理程序等，中介需按合同约定履行义务。若中介未履行合同约定，导致员工或工厂受损，中介需承担相应的违约责任。

四、建议与措施

1. 对于员工：

   • 若认为工厂退回行为违法或不合理，可向当地劳动监察部门投诉或申请劳动仲裁，维护自己的合法权益。
   • 保留好相关证据，如医疗证明、劳动合同、退回通知等，以便在维权过程中使用。

2. 对于中介：

   • 在接受工厂退回员工前，应核实员工的健康状况和工厂退回的合法性，避免因未尽到合理审查义务而承担责任。
   • 与员工和工厂明确合同约定，包括员工健康状况的审查义务、退回员工的处理程序等，以便在发生纠纷时明确责任。

3. 对于工厂：

   • 在退回员工前，应确保有合法合规的理由和程序，如进行医疗鉴定、提前通知员工等。
   • 与中介明确合同约定，包括退回员工的条件、程序等，以便在发生纠纷时明确责任。

若您有进一步的法律问题或需要更详细的法律建议，请直接向我咨询。