这样的操作是不合理的。下面我来详细解释一下：

在劳务派遣关系中，通常涉及三方主体：劳务派遣公司（用人单位）、用工单位（工厂）和被派遣劳动者。根据《中华人民共和国劳动合同法》的相关规定，劳务派遣公司应当与被派遣劳动者签订劳动合同，建立劳动关系，并承担用人单位的法定义务，比如支付工资、缴纳社会保险等。而用工单位则通过与劳务派遣公司签订劳务派遣协议，来使用被派遣劳动者的劳务，并向劳务派遣公司支付相应的费用。

现在，劳务派遣公司说让被派遣劳动者与工厂签合同，并由工厂发工资，这明显违反了劳务派遣的法律规定。这种做法实际上是在试图规避劳务派遣公司的法律责任，将本应由劳务派遣公司承担的义务转嫁给用工单位，同时也剥夺了被派遣劳动者作为劳务派遣工应享有的权益。

因此，如果你作为被派遣劳动者遇到了这种情况，应该坚决拒绝，并向劳务派遣公司和用工单位明确指出这种操作的违法性。如果协商无果，你可以向当地的劳动监察部门投诉，或者寻求法律援助来维护自己的合法权益。

总之，劳务派遣公司让被派遣劳动者与工厂签合同并由工厂发工资的做法是不合理的，也是违法的。你应该依法维护自己的权益，确保自己的劳动关系和工资支付得到妥善处理。