在没有直接证据证明男方给小三购买黄金的情况下，要追回这些财物确实存在一定难度，但并非完全不可能，具体需视情况而定。以下是从不同角度为你进行的分析：
一、法律角度
夫妻共同财产的保护：
- 根据《中华人民共和国民法典》的相关规定，夫妻在婚姻关系存续期间所得的财产，除另有约定外，应归夫妻共同所有。因此，男方未经你同意，擅自将夫妻共同财产赠与小三，这种行为是无效的。
- 你有权要求小三返还这些财物，因为小三作为无偿受赠人，其取得财物没有合法依据，且可能损害你的合法权益。
证据的收集与举证：
- 虽然没有直接证据，但你可以尝试收集其他间接证据来证明男方给小三购买黄金的事实。例如，男方的银行转账记录、消费记录、与小三的聊天记录等，这些都可以作为辅助证据。
- 你还可以尝试通过证人证言来证明，比如了解男方与小三关系的人，他们可能目睹或知晓男方给小三购买黄金的情况。
法律程序与诉讼：
- 如果收集到足够证据，你可以向法院提起诉讼，要求确认男方赠与小三财物的行为无效，并要求小三返还这些财物。
- 在诉讼过程中，你需要提供充分的证据来支持你的主张，法院将根据事实和法律规定作出判决。
二、实际操作角度
与男方沟通：
- 在采取法律行动之前，你可以尝试与男方进行沟通，了解他给小三购买黄金的原因和动机，以及他是否愿意主动追回这些财物或给予你相应的补偿。
- 通过沟通，你可能能够达成一些共识或协议，从而避免不必要的法律纠纷。
寻求专业帮助：
- 如果你觉得自己无法处理这个问题，或者需要更专业的法律建议，可以寻求律师的帮助。律师可以为你提供法律咨询、协助你收集证据、起草法律文书等。
- 律师还可以代表你与男方或小三进行协商，或者代表你提起诉讼，维护你的合法权益。
考虑其他途径：
- 除了法律途径外，你还可以考虑通过其他途径来解决问题，比如向男方的工作单位、家庭成员等反映情况，寻求他们的支持和帮助。
- 但需要注意的是，这些途径可能并不总是有效，而且可能引发更多的矛盾和纠纷。
三、风险提示
- 证据不足的风险：如果没有足够的证据来证明男方给小三购买黄金的事实，法院可能无法支持你的主张，导致你无法追回这些财物。
- 诉讼成本的风险：提起诉讼需要支付一定的诉讼费用和律师费用等成本，如果最终无法追回财物或者追回的财物不足以覆盖这些成本，你可能会面临一定的经济损失。
- 情感与家庭关系的风险：处理这个问题可能会引发你与男方之间的情感冲突和家庭关系紧张，需要谨慎考虑和处理。
建议：在没有直接证据的情况下，你可以先尝试收集其他间接证据，并与男方进行沟通协商。如果无法达成共识或协议，再考虑寻求律师的帮助并提起诉讼。同时，也要做好心理准备和风险评估，以应对可能出现的各种情况。如果有任何疑问或需要进一步的法律帮助，请随时向我咨询。