结论：银行没在约定时间交货实物黄金，一般构成违约，是否可以退货需根据合同具体约定及实际情况判断。

详细分析：

1. 违约认定：

   • 根据《中华人民共和国民法典》的相关规定，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。在货物买卖合同中，交货时间是合同的重要条款之一，银行作为卖方，有义务在约定的时间内交付货物。若银行未能在约定时间交货，即构成违约。

2. 退货可能性：

   • 合同约定：首先，需要查看合同中是否有关于交货时间、违约责任以及退货的具体约定。如果合同中明确规定了银行未按时交货时，买方有权退货，并且银行需承担相应的违约责任，那么买方可以依据合同约定要求退货。
   • 法律规定：如果合同中没有明确约定退货条款，但银行的违约行为导致合同目的无法实现（例如，买方购买黄金是为了特定时间点的投资或送礼等），根据《民法典》的相关规定，买方也有权解除合同并要求退货。此外，如果银行同意退货，或者退货是解决争议的合理方式，买方也可以要求退货。
   • 实际情况：在实际操作中，退货还可能受到银行政策、市场情况、货物状况等多种因素的影响。例如，如果黄金价格已经大幅波动，退货可能涉及价格调整或赔偿问题；如果货物已经损坏或变质，退货可能不再可行。

3. 建议措施：

   • 与银行协商：首先，建议买方与银行进行沟通，了解银行未按时交货的原因，并尝试协商解决方案。如果银行同意退货或提供其他补偿措施，可以达成和解并避免法律纠纷。
   • 审查合同：如果协商无果，买方应仔细审查合同条款，特别是关于交货时间、违约责任和退货的约定。如果合同中有明确规定，可以依据合同要求银行承担责任。
   • 寻求法律帮助：如果合同中没有明确规定或银行拒绝承担责任，买方可以寻求法律帮助，咨询专业律师的意见，并根据律师的建议采取进一步的法律行动，如起诉或申请仲裁等。

后续行动建议：

• 在处理此类纠纷时，建议买方保留好所有与交易相关的证据，如合同、付款凭证、交货通知等，以便在需要时提供证明。
• 如果买方决定采取法律行动，应尽快行动，以免超过诉讼时效或仲裁时效，导致权利无法得到保障。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我会根据你的具体情况提供详细的法律建议。