当您购买到发霉的商品，而商家仅同意退款却不愿意承担更多责任时，您完全有权利采取一系列措施来维护自己的合法权益。以下是我为您详细梳理的应对步骤和建议：

一、明确并主张您的法律权益

首先，您需要了解并明确自己的法律权益。根据《中华人民共和国食品安全法》和《中华人民共和国消费者权益保护法》的相关规定，对于不符合食品安全标准的商品，您不仅有权要求退款，还可以向商家要求支付价款十倍或者损失三倍的赔偿金；如果增加赔偿的金额不足一千元，则按一千元计算。因此，在与商家沟通时，您可以清晰、理性地指出其应承担的法律责任，并明确要求合理的赔偿。

二、与商家进行协商

在明确法律权益后，您可以尝试与商家进行协商。以礼貌、坚定的态度向商家说明您的情况，指出其售卖发霉商品的行为违法，并要求除退款外的合理赔偿。您可以参考上述法律条款，向商家提出具体的赔偿要求，如价款十倍的赔偿金或损失三倍的赔偿金等。

三、寻求第三方协助调解

如果与商家的协商未能取得满意结果，您可以考虑向当地的消费者协会或其他有资质的调解组织申请调解。这些机构通常提供免费服务，旨在帮助消费者与商家达成和解。在申请调解时，您需要提供详细的购物凭证、商品照片以及与商家的沟通记录等证据，以便调解组织能够更好地了解情况并作出公正的调解。

四、向行政管理部门投诉

除了寻求第三方调解外，您还可以选择向相关行政管理部门（如市场监督管理局、食品药品监督管理局等）投诉商家的违法行为。这些部门将依法对商家的行为进行调查，并可能给予处罚。在投诉时，您需要提供详细的商家信息、购物凭证以及商品发霉的证据等，以便相关部门能够及时有效地处理您的投诉。

五、考虑法律途径

如果上述途径均无法解决问题，您可以考虑通过法律途径来维护自己的合法权益。这包括向仲裁机构提出仲裁申请（如果与商家之间签订了仲裁协议）或向有管辖权的人民法院提起诉讼。在诉讼过程中，您需要提供充分的证据来支持自己的诉求，包括购物凭证、商品照片、与商家的沟通记录以及可能的专家鉴定意见等。

六、保留关键证据

在整个维权过程中，务必妥善保存所有相关证据。这些证据是证明您权益受损的关键，也是后续投诉、举报、仲裁或诉讼的重要依据。因此，建议您在发现问题后立即拍照或录像留存证据，并保存好购物凭证、与商家的沟通记录等所有可能用到的材料。

总结与建议：

当您遇到购买的商品发霉而商家只给退款的情况时，不要慌张也不要轻易放弃自己的权益。首先明确自己的法律权益并积极与商家协商；如果协商无果则寻求第三方协助调解或向行政管理部门投诉；如果问题仍然无法解决则考虑通过法律途径来维护自己的合法权益。同时务必保留好所有相关证据以便后续使用。希望这些建议能够帮助您成功维权！