首先，我们要明确一点：买卖假币是违法行为，不仅可能面临法律制裁，还会对个人声誉和财产造成严重损害。针对你提到的“买银元假币退货了钱他不给我”的问题，我们可以从以下几个角度来分析：

1. 法律角度：

   • 买卖假币违法：根据《中华人民共和国刑法》的相关规定，出售、购买伪造的货币都是犯罪行为。因此，你购买假币的行为本身就已经触犯了法律。
   • 退货与退款：在正常的商品交易中，如果商品存在质量问题或者与描述不符，消费者有权要求退货并退款。但这一规则并不适用于非法交易，因为非法交易本身就不受法律保护。

2. 实际处理建议：

   • 报警处理：鉴于买卖假币的违法性，建议你立即向当地公安机关报案，说明情况，并积极配合调查。这不仅是为了维护自己的合法权益，也是为了打击犯罪，维护社会秩序。
   • 挽回损失：在报警的同时，你可以尝试与卖方协商退款，但这一行为应在法律框架内进行，避免进一步的违法行为。
   • 法律咨询：如果你在处理此事过程中遇到任何法律问题或疑虑，可以随时向我咨询，我会为你提供专业的法律建议。

3. 预防与警示：

   • 提高警惕：在购买银元等收藏品时，一定要提高警惕，仔细辨别真伪，避免上当受骗。
   • 合法交易：务必通过合法渠道进行交易，确保交易的合法性和安全性。
   • 法律意识：增强法律意识，了解并遵守相关法律法规，避免触碰法律红线。

综上所述，买卖假币是违法行为，不受法律保护。建议你立即报警处理此事，并积极配合调查。同时，也要提高警惕，增强法律意识，避免再次陷入类似的困境。如果你有任何法律问题或需要进一步的帮助，请随时向我咨询。