当您购买到发霉的食品，而商家仅提供退款却不愿意承担更多责任时，您完全有权采取一系列措施来维护自己的合法权益。以下是我为您详细梳理的维权步骤和建议：

一、明确您的法律权益

根据《中华人民共和国食品安全法》和《中华人民共和国消费者权益保护法》的相关规定，对于不符合食品安全标准的商品，您不仅有权要求退款，还可以向商家要求支付价款十倍或者损失三倍的赔偿金。如果增加赔偿的金额不足一千元，那么按一千元来计算。这是您作为消费者的基本法律权益，务必明确。

二、与商家进行协商

1. 准备证据：在前往商家处协商之前，请务必保留好购物凭证（如小票、发票或支付记录）以及发霉食品及其包装。同时，建议拍摄清晰照片或录像，记录食品的发霉状况、生产日期及保质期等信息。这些证据将对您后续的维权过程至关重要。

2. 理性沟通：携带上述证据前往商家处，以清晰、理性的态度与商家沟通。指出其应承担的法律责任，并尝试达成一致的赔偿意见。例如，您可以告知商家：“根据《食品安全法》，我购买的商品发霉，你们除了退款，还应支付我价款十倍的赔偿金（或损失三倍，具体视情况而定），如果不足一千元则按一千元计算。”

三、寻求第三方协助调解

如果与商家的协商未能取得满意结果，您可以向当地的消费者协会或其他有资质的调解组织申请调解。这些机构通常提供免费服务，旨在帮助消费者与商家达成和解。您可以通过拨打12315热线或通过全国12315平台网站、APP等渠道进行投诉和调解申请。

四、向行政管理部门投诉

您还可以选择向相关行政管理部门（如市场监督管理局、食品药品监督管理局等）投诉。这些部门将依法对商家的行为进行调查，并可能给予处罚。同时，他们也会协助您获得应有的赔偿。在投诉时，请提供详细的购物信息、发霉食品的照片以及与商家的沟通记录等证据。

五、考虑法律途径

1. 仲裁：如果您与商家之间签订了仲裁协议，可以依据该协议向相应的仲裁机构提出仲裁申请。仲裁是一种相对快速且保密的纠纷解决方式，但需要双方同意并签订仲裁协议。

2. 诉讼：如果仲裁不可行或未达成协议，您可以向有管辖权的人民法院提起诉讼。在诉讼过程中，您需要提供充分的证据来支持自己的诉求，包括购物凭证、发霉食品照片、与商家的沟通记录以及投诉记录等。诉讼请求应明确涵盖退款、赔偿金及诉讼费用等。

六、注意事项

• 在整个维权过程中，请务必保持冷静与理性，依法表达诉求。避免与商家发生不必要的冲突或争执。
• 注意食品的保存方式与期限，避免因不当保存导致食品进一步变质，影响维权效果。
• 了解并熟悉相关法律法规，确保自身权益得到充分保护。在必要时，可以咨询专业律师或法律机构以获取更详细的法律建议。

综上所述，当您遇到购买的食品发霉而商家只给退款的情况时，应明确自己的法律权益，积极与商家协商，并寻求第三方协助或行政管理部门的支持。如果必要，可以考虑通过仲裁或诉讼等法律途径来维护自己的合法权益。希望这些建议能对您有所帮助。