礼金给了五六年，现在退还，是否违法，需要具体分析。

1. 若收受礼金构成犯罪，退还仍可能定罪：

   • 当收受礼金的行为本身符合受贿罪等犯罪构成要件时，如国家工作人员利用职务便利，非法收受他人财物并为他人谋取利益，即使事后退还了礼金，依然可能被认定为犯罪。退还礼金这一情节，可在量刑时予以考虑，但并不影响犯罪的认定。

2. 若收受礼金无违法性质，退还不构成犯罪：

   • 如果收受礼金的行为属于正常人情往来，不具有违法犯罪性质，那么退还礼金后自然不存在犯罪问题。

因此，判断礼金退还后是否违法，不能仅依据礼金退还这一单一行为，而需要结合收受礼金行为的具体情况来综合考量。这包括收受礼金的具体背景、行为性质、是否涉及职务便利、是否为他人谋取利益等多方面因素。

如果您有具体的法律问题或需要进一步的法律分析，请直接向我咨询，我会根据您的具体情况提供详细的法律建议。