结论：根据您描述的情况，工厂以合同到期为由将您辞退，而您是与派遣公司签订的合同，派遣公司却表示不关其事，这种做法可能是不合理的。您有权要求派遣公司承担相应的责任，具体分析如下：

1. 劳务派遣关系中的责任主体：

   • 在劳务派遣关系中，您作为被派遣劳动者，与派遣公司签订劳动合同，建立劳动关系。派遣公司作为用人单位，应当履行用人单位对劳动者的义务，包括但不限于支付劳动报酬、提供劳动保护、承担社会保险等。
   • 工厂作为用工单位，虽然与您不存在直接的劳动关系，但应当按照劳务派遣协议的约定，为您提供相应的劳动条件，并对您进行工作管理。

2. 合同到期辞退的合法性：

   • 如果您的劳动合同确实到期，且派遣公司或工厂没有提出续签劳动合同，那么他们有权终止与您的劳动关系。但是，这种终止应当符合法律法规的规定，比如提前通知您、支付经济补偿金（如果符合法定条件）等。
   • 如果派遣公司或工厂没有按照法律法规的规定进行终止，那么他们的行为可能构成违法解除劳动合同，您有权要求他们承担相应的法律责任。

3. 派遣公司的责任：

   • 派遣公司作为您的用人单位，不能简单地以“不关其事”为由推卸责任。即使您的劳动合同到期，派遣公司也有义务与您协商后续事宜，比如是否续签劳动合同、如何支付经济补偿金等。
   • 如果派遣公司拒绝承担责任，您可以向劳动监察部门投诉，或者申请劳动仲裁，要求派遣公司承担相应的法律责任。

4. 可能的法律后果：

   • 如果经过调查，确认派遣公司或工厂存在违法解除劳动合同的行为，那么他们可能需要向您支付赔偿金、经济补偿金等。
   • 同时，您也有权要求派遣公司或工厂为您办理离职手续，包括出具离职证明、转移社会保险关系等。

建议：

• 首先，您可以与派遣公司进行协商，要求他们明确说明不承担责任的理由，并要求他们提供相关的法律依据。
• 如果协商无果，您可以向当地的劳动监察部门投诉，或者向劳动仲裁委员会申请劳动仲裁，以维护自己的合法权益。
• 在整个过程中，建议您保留好相关的证据，比如劳动合同、工资单、工作证明等，以便在需要时提供证明。

如果您在处理过程中遇到任何问题或需要进一步的法律帮助，请直接向我咨询，我会根据您的具体情况提供更详细的法律建议。