若已卖出的银子被要求退回，是否需要退回及如何处理，需分情况讨论：

1. 若交易合法且无特殊约定
   根据《民法典》第六百四十三条，动产买卖合同自成立时生效，银子交付后所有权即转移至买方。若交易本身合法（如银子来源合法、交易未违反限售规定），且双方未约定“无理由退货”等条款，卖方无义务退回银子，买方也无权单方面要求返还。此时可明确拒绝买方要求，并保留交易凭证（如合同、转账记录、交付证明等）以防纠纷。

2. 若交易存在法定无效或可撤销情形

   • 无效情形：若银子属于法律禁止流通的物品（如文物、赃物），或交易违反强制性规定（如未取得经营许可），根据《民法典》第一百五十三条，合同自始无效，银子需返还，双方需互相返还财产并可能承担过错责任。
     
   • 可撤销情形：若交易因欺诈、胁迫、重大误解或显失公平（如银子实际为假货或价值远低于约定价格），买方可在法定期限内（通常为知道撤销事由之日起1年内）请求法院或仲裁机构撤销合同，此时银子需退回，卖方需返还价款并可能赔偿损失。
     建议：若买方主张交易无效或可撤销，需核实其理由是否成立，必要时通过法律程序确认合同效力。

3. 若双方曾约定退货条款
   若合同中明确约定了“无理由退货”“质量保证期”等条款（如约定“7天内可退货”），则卖方需按约定履行。此时应核对合同条款，若买方符合退货条件，可协商退回银子并返还价款；若买方不符合条件（如超过期限），可拒绝退货要求。

4. 若银子存在质量问题或与描述不符
   根据《消费者权益保护法》第二十四条，若买方为消费者，且银子存在质量问题（如纯度不足、重量不符）或与卖方宣传不符，买方有权要求退货、换货或修理。此时需核实银子质量是否符合约定或国家标准，若确实存在问题，建议协商解决或配合买方退货，避免承担违约责任。

行动建议：

• 立即核对交易合同、交付凭证、银子质量证明等材料，明确交易合法性及双方权利义务；
  
• 与买方沟通，了解其要求退回的具体理由，针对性回应；
  
• 若买方无合法理由，可明确拒绝；若存在争议，建议通过协商、调解或诉讼解决，避免矛盾升级。
  

如有进一步细节（如交易方式、银子性质、买方主张等），可随时补充说明，我会为你提供更具体的分析。