退还礼品礼金是否算违规，需要根据具体情况来判断。以下是对这一问题的详细分析：

1. 如果收礼金后迅速主动全额退回且未谋取不正当利益：

   • 通常不认定违规。因为这种情况下，收受礼金的行为并没有伴随谋取不正当利益的目的，且及时退回表明了没有接受不当利益的意图。

2. 如果收礼金时就有谋利想法，即便退回也可能作为判定情节：

   • 在这种情况下，即使后来退回了礼金，但因为收受时已有谋利意图，所以仍可能被视为违规行为的一个情节因素。

3. 考虑收礼金场合、对象及单位行业规定：

   • 公职领域对收受礼金有严格禁止性规定，只要有收受事实就可能受处分。因此，在公职领域，即使退回礼金，也可能面临纪律处分。
   • 在其他领域，也需要根据单位或行业的具体规定来判断。

4. 主动退回礼金不一定能免予法律责任：

   • 在受贿等相关犯罪情形中，主动退回礼金是一个重要的酌定从轻情节，但并不意味着必然免予法律责任。
   • 如果收受礼金行为已构成犯罪，即便主动退回礼金，也只是在量刑时会被考虑从轻、减轻处罚。

5. 法律依据：

   • 根据《中华人民共和国刑法》的相关规定，国家工作人员利用职务上的便利，非法收受他人财物，为他人谋取利益的，构成受贿罪。退还礼金可以作为量刑时的酌定情节，但不影响受贿罪的构成。

综上所述，退还礼品礼金是否算违规，不能仅看是否退回，而需要结合收受礼金时的具体情况、退回的时机和动机、单位或行业的规定以及法律规定来综合判断。如果你面临类似情况，建议咨询专业律师以获取更具体的法律意见。