面对您购买到有质量问题的产品而工厂拒绝退钱的情况，我理解您的困扰和不满。为了有效维护您的合法权益，我建议您按照以下步骤来处理这个问题：

一、明确自身权益

首先，您需要了解自己作为消费者的基本权益。根据《中华人民共和国消费者权益保护法》，当您购买到不符合质量要求的商品时，您有权要求商家进行退货、换货或修理。如果工厂拒绝履行这些义务，那么它就已经侵害了您的合法权益。

二、与工厂进行协商

1. 详细说明问题：您应该再次与工厂联系，详细、具体地说明产品存在的质量问题，并指出这些问题使得产品无法正常使用或与工厂宣传的不符。
2. 强调法律依据：在沟通时，您可以明确提及相关的消费者权益保护法律，强调您有权要求退货退款，并希望工厂能够尊重并履行其法律义务。
3. 寻求高层介入：如果与工厂的普通客服或销售人员沟通无果，您可以尝试要求与工厂的管理层或负责人直接对话，以寻求更高层面的解决方案。

三、寻求第三方调解

1. 消费者协会：您可以拨打12315热线或通过全国12315平台向消费者协会投诉。消费者协会作为中立的第三方机构，可以介入调解，帮助您与工厂达成合理的解决方案。
2. 其他调解组织：除了消费者协会，您还可以向当地依法成立的调解组织申请调解。这些组织会协助您与工厂进行沟通，努力促成双方都能接受的解决方案。

四、向行政部门投诉

如果与工厂的协商和第三方调解都未能解决问题，您可以向当地的市场监督管理部门反映情况。市场监督管理部门有权对工厂销售劣质产品的行为进行调查和处罚，并可以督促工厂处理退货退款事宜。

五、考虑法律手段

1. 发送律师函：如果问题依然得不到解决，您可以考虑聘请律师起草并向工厂发送律师函。律师函会以专业的法律语言告知工厂其行为的违法性及可能面临的法律后果，从而督促工厂在规定时间内处理退货退款问题。
2. 提起诉讼或仲裁：如果双方事先签订了包含仲裁条款的合同或事后达成了仲裁协议，您可以向约定的仲裁机构提请仲裁。如果没有仲裁协议，您可以直接向有管辖权的人民法院提起民事诉讼，要求工厂退货退款，并根据产品质量问题给您造成的损失主张相应的赔偿。

六、保留相关证据

在整个维权过程中，保留好相关证据至关重要。您应该妥善保存购物凭证、商品照片或视频、质量检测报告（如果有的话）、与工厂的沟通记录（如聊天记录、通话录音等）等证据。这些证据将在您需要证明自己的主张时发挥关键作用。

综上所述，面对工厂拒绝退钱的情况，您应该了解自己的合法权益，并依次尝试与工厂协商、寻求第三方调解、向行政部门投诉以及考虑法律手段等多种途径来维权。在整个过程中，保留好相关证据是维权成功的关键。希望这些建议能够对您有所帮助。