退赃退赔并不全是违法的，其合法性与具体情况紧密相关。以下是对此问题的详细分析：
退赃退赔的合法性：
- 在刑事案件中，如果犯罪嫌疑人或被告人主动退赃退赔，通常被视为一种认罪悔过的表现，也是减轻或从轻处罚的情节之一。这种情况下，退赃退赔是合法的，也是被鼓励的。
- 退赃退赔可以作为量刑时的一个考虑因素，有助于犯罪嫌疑人或被告人获得更轻的刑罚。
退赃退赔的违法性：
- 如果退赃退赔的行为本身涉及到了其他违法行为，比如通过非法手段获取资金后进行退赃退赔，或者退赃退赔的资金来源不合法，那么这种行为就是违法的。
- 另外，如果退赃退赔是在被迫、欺诈或胁迫的情况下进行的，也可能构成违法行为。
特殊情况下的退赃退赔：
- 在某些特定情况下，如涉及洗钱、诈骗等犯罪活动，即使犯罪嫌疑人或被告人愿意退赃退赔，也可能因为犯罪行为的严重性而面临严厉的刑事处罚。此时，退赃退赔虽然可以作为量刑的一个考虑因素，但并不能完全免除其刑事责任。
综上所述，退赃退赔的合法性取决于具体情况。如果犯罪嫌疑人或被告人主动、自愿且合法地进行退赃退赔，那么这种行为是合法的，也是被法律所鼓励的。但如果退赃退赔本身涉及到了其他违法行为，或者是在被迫、欺诈等情况下进行的，那么这种行为就是违法的。因此，在进行退赃退赔时，务必确保行为的合法性和正当性。