违法违纪行为的赃款通常需要退回。以下从不同角度对此问题进行详细分析：

一、法律原则与规定

1. 违法所得追缴原则：

   • 根据我国相关法律原则，违法违纪行为所获得的财物，即赃款赃物，应当依法予以追缴。这是为了维护法律的尊严和公平正义，防止违法违纪者从其行为中获利。

2. 具体法律规定：

   • 在刑事案件中，如《中华人民共和国刑法》第六十四条规定：“犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还；违禁品和供犯罪所用的本人财物，应当予以没收。没收的财物和罚金，一律上缴国库，不得挪用和自行处理。”这一条款明确规定了违法所得的追缴和退赔义务。
   • 在行政案件中，如《中华人民共和国行政处罚法》等相关法律法规也规定了违法所得的没收或追缴措施。

二、不同情况下的处理方式

1. 刑事案件中的赃款处理：

   • 在刑事案件中，如果违法违纪行为构成犯罪，那么犯罪分子违法所得的一切财物，包括赃款，都应当依法予以追缴。追缴的赃款，如果属于被害人的合法财产，应当及时返还给被害人；如果没有特定的被害人，或者赃款无法直接返还给被害人，那么应当上缴国库。

2. 行政案件中的赃款处理：

   • 在行政案件中，如果违法违纪行为受到行政处罚，那么违法所得的财物也可能被没收或追缴。这种处理方式与刑事案件中的追缴类似，都是为了防止违法违纪者从其行为中获利，并维护法律的尊严和公平正义。

3. 特殊情况下的处理：

   • 在某些特殊情况下，如违法违纪者已经将赃款挥霍或转移，导致无法直接追缴的，那么可能会根据具体情况，通过其他方式（如责令退赔、罚款等）来弥补损失或惩罚违法违纪者。

三、法律后果与责任

1. 拒不退回赃款的法律后果：

   • 如果违法违纪者拒不退回赃款，那么可能会面临更严重的法律后果。在刑事案件中，这可能会构成拒不执行判决、裁定罪等犯罪行为；在行政案件中，则可能会面临更严厉的行政处罚。

2. 退回赃款的法律意义：

   • 退回赃款是违法违纪者履行法律义务、承担法律责任的重要表现。通过退回赃款，违法违纪者可以表明其认罪悔罪的态度，并减轻或免除部分法律责任。同时，这也有助于维护社会的公平正义和法律的尊严。

总结与建议：违法违纪行为的赃款通常需要退回，这是法律原则与规定的明确要求。在不同情况下，赃款的处理方式可能有所不同，但无论何种情况，违法违纪者都应当积极履行法律义务，退回赃款以承担法律责任。如果您或您身边的人涉及此类问题，建议直接向我咨询，我将根据具体情况提供专业的法律建议。