若车牌买卖合同合法有效且已履行完毕，对方无权要求要回，你的五万无需处理；若合同无效或可撤销，则根据具体情况协商退款或通过法律途径解决。针对这一问题，我们可以从以下几个方面进行分析：

一. 车牌买卖合同的合法性

1. 合同有效性的判断：根据《中华人民共和国合同法》第五十二条，若车牌买卖合同违反法律、行政法规的强制性规定，则合同无效。车牌的买卖在部分地区可能受到限制或禁止，因此需首先判断合同的有效性。
2. 合同是否已履行完毕：若合同有效且双方已按约定履行完毕，即你已支付五万款项且对方已交付车牌，则合同权利义务已终止，对方无权要求要回。

二. 合同无效或可撤销的情况

1. 合同无效的处理：若合同被认定为无效，根据《中华人民共和国合同法》第五十八条，双方应相互返还因合同取得的财产。因此，你可能需要与对方协商退款事宜。
2. 合同可撤销的处理：若合同存在可撤销情形，如存在欺诈、胁迫等，根据《中华人民共和国合同法》第五十四条，你有权请求人民法院或仲裁机构撤销合同。撤销后，同样需处理退款问题。

三. 法律途径解决纠纷

1. 协商不成时的选择：若双方无法就退款事宜达成一致，你可考虑通过法律途径解决纠纷，如提起民事诉讼。
2. 诉讼准备：在提起诉讼前，建议收集相关证据，如合同文本、支付凭证等，以证明合同关系及履行情况。

综上所述，车牌买卖合同的合法性及履行情况是处理你五万款项的关键。若合同合法有效且已履行完毕，你无需处理这五万款项；若合同无效或可撤销，则需根据具体情况与对方协商退款或通过法律途径解决。我建议你在处理此事时，首先明确合同的合法性及履行情况，并据此作出相应决策。如有进一步需要，你可以继续咨询我。