结论：是否需要退还对方钱款，取决于你们之间关于黄金交易或赠与的具体约定以及相关法律规定。若黄金是对方无偿赠与孩子的，且已实际交付，通常无需退还钱款；若黄金是孩子购买或存在其他法律关系，则可能需要根据具体情况判断是否需要退还。

分析说明：

1. 赠与关系：

   • 如果对方是将黄金无偿赠与给你的孩子，并且已经实际交付，那么根据《民法典》中关于赠与合同的规定，赠与合同一旦成立并履行（即黄金已经交付），除非存在法定撤销情形（如严重侵害赠与人或其近亲属的合法权益、对赠与人有扶养义务而不履行等），否则赠与人不得随意撤销赠与。在此情况下，你无需退还对方钱款。

2. 买卖关系或其他法律关系：

   • 如果黄金并非赠与，而是孩子从对方处购买，或者存在其他法律关系（如借贷、保管等），那么情况就会复杂一些。
   • 在买卖关系中，如果双方已经完成了交易（即黄金已经交付，且你或孩子已经支付了相应的价款），那么除非存在合同无效或可撤销的情形（如欺诈、胁迫、显失公平等），否则你无需退还对方钱款。但对方已经退还了黄金，若你未支付价款或需根据合同约定承担其他责任，则可能需要根据实际情况退还部分或全部钱款。
   • 在其他法律关系中，如借贷关系，如果对方退还黄金是作为还款的一部分，那么你需要根据借贷合同的约定来确定是否需要退还剩余的钱款。

3. 未成年人的特殊情况：

   • 由于你的孩子是未成年人，其民事行为能力可能受到限制。如果孩子是无民事行为能力人或限制民事行为能力人，那么其接受赠与或进行买卖等民事法律行为可能需要由其法定代理人（如父母）代理或同意。
   • 如果对方在退还黄金时，明确要求你退还钱款，并且你或孩子确实存在需要退还钱款的法律义务（如未支付价款、合同无效或可撤销等），那么你需要根据实际情况来决定是否退还钱款。

行动建议：

• 回顾交易过程：仔细回顾黄金的交易或赠与过程，确定双方之间的具体约定和法律关系。
• 检查相关证据：收集并保存与黄金交易或赠与相关的所有证据，如聊天记录、转账记录、赠与协议等。
• 咨询专业意见：如果你对是否需要退还钱款存在疑问，建议直接向我咨询，我会根据你的具体情况和相关法律法规来给出更具体的建议。

后续行动中可能需要的法律知识：

• 在处理此类纠纷时，了解《民法典》中关于赠与合同、买卖合同以及未成年人民事行为能力的相关规定是非常重要的。
• 如果纠纷无法通过协商解决，你可能需要考虑通过法律途径来维护自己的权益，如提起诉讼或申请仲裁等。在此过程中，了解诉讼或仲裁的程序和规则也是必不可少的。