退还合法领养费是否违法，需根据具体情况来判断，不能一概而论。以下从不同角度为你详细分析：
一、领养关系合法成立且未解除的情况
在领养关系合法成立且未解除的前提下，领养费通常是基于双方自愿、平等、公平的原则下支付的，用于保障被领养人的生活、教育等基本需求。若此时要求退还领养费，可能涉及违约或不当得利的问题。
违约角度：如果领养协议中明确规定了领养费的支付、使用及退还等条款，且领养人未按照协议履行义务（如未按时支付、未用于被领养人等），被领养方或相关权益人（如送养人）有权要求领养人承担违约责任，但这并不意味着领养费可以随意退还。若领养人已按协议履行义务，且领养关系未解除，要求退还领养费则可能缺乏法律依据，甚至可能构成违约。
不当得利角度：若领养费支付后，因某种原因（如领养关系被撤销、领养人未履行抚养义务等）导致领养关系解除，且领养人未实际承担抚养责任或抚养责任已由他人承担，此时领养人继续持有领养费可能构成不当得利。根据《民法典》的相关规定，因他人没有法律根据，取得不当利益，受损失的人有权请求其返还不当利益。因此，在这种情况下，退还领养费可能是合法的。
二、领养关系被依法解除的情况
若领养关系因法定原因（如领养人虐待、遗弃被领养人，或领养人丧失抚养能力等）被依法解除，且领养人未实际承担抚养责任或抚养责任已由他人承担，那么领养人之前支付的领养费，在扣除其已实际承担的抚养费用后，剩余部分应当退还。这是因为领养关系的解除意味着领养人不再承担抚养义务，其之前支付的领养费在扣除实际抚养费用后，剩余部分已无合法依据继续持有。
三、领养协议中的特别约定
如果领养协议中明确约定了领养费的退还条件、方式等，且该约定不违反法律、行政法规的强制性规定，不违背公序良俗，那么双方应当按照协议约定履行。在这种情况下，退还领养费是否违法，将取决于协议的具体约定。
法律建议
审查领养协议：如果涉及领养费的退还问题，首先应当审查领养协议中的相关条款，了解双方的权利义务及退还条件。
协商解决：在领养关系解除或可能解除的情况下，双方应当积极协商，就领养费的退还问题达成一致意见。
寻求法律帮助：如果协商不成，或者对领养协议的条款存在争议，建议寻求专业律师的帮助，通过法律途径解决纠纷。
总结来说，退还合法领养费是否违法，需根据领养关系的状态、领养协议的约定以及相关法律法规的规定来综合判断。如果你面临相关问题，可以直接向我咨询，我会根据你的具体情况提供详细的法律建议。