结论：违纪所得是否需要退还，需根据违纪所得的性质、来源以及相关法律法规的规定综合判断，不能一概而论。以下从不同角度进行详细分析：
一、违纪所得的性质与来源
合法来源但违纪使用：
- 若违纪所得本身来源于合法行为，如工资、奖金等，但因违纪使用（如贪污、挪用等）而被追缴，这种情况下，违纪所得本身并非非法所得，但违纪行为导致的额外损失或不当得利可能需要退还或赔偿。不过，就违纪所得本身而言，若已依法纳税，通常不会因违纪行为而要求退还已纳税款。
非法来源：
- 若违纪所得来源于非法行为，如受贿、诈骗等，则根据相关法律法规，这些所得属于违法所得，应当予以追缴或责令退赔。在这种情况下，不仅违纪所得需要退还，若已就该所得缴纳了税款，是否退还则需根据具体情况判断。
二、税款退还的法律规定与实际操作
法律规定：
- 根据《中华人民共和国刑法》第六十四条的规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔。然而，这一规定并不直接涉及税款的退还问题。
- 从税法角度来看，财产的性质（合法或非法）通常不与纳税义务直接挂钩。只要存在应税行为，且该行为符合税收法律法规的征税条件，纳税义务即产生。因此，即使违纪所得后来被认定为非法，只要征税行为本身合法有效，税务机关通常无义务主动退还已征收的税款。
实际操作：
- 在实际操作中，若违纪所得在税务机关征税后被有权部门认定为非法并需要没收，理论上可以申请退税。但退税需与追缴违法所得同时进行，并严格遵循法定程序。
- 退税过程应加强监管与审计，以防止滥用退税权力或骗取退税等违法行为。具体退税流程及可能性需根据相关法律法规和具体案件情况判断。
三、综合分析与建议
对于违纪者：
- 若违纪所得来源于非法行为，应主动配合相关部门进行追缴或退赔，并了解相关税款退还的规定和流程。
- 若违纪所得已依法纳税，且后续被认定为合法所得（尽管违纪行为存在），则通常无需担心税款退还问题。但若违纪行为导致额外损失或不当得利，可能需要承担赔偿责任。
对于税务机关：
- 在征税过程中，应严格遵循税收法律法规的规定，确保征税行为的合法性和准确性。
- 若后续发现征税行为存在错误或违纪所得被认定为非法，应及时启动退税程序（如符合退税条件），并加强与相关部门的沟通协调。
具体案例分析：
- 案例一：某公职人员因贪污受贿被查处，其受贿所得属于违法所得，应当予以追缴。若该受贿所得在受贿时已依法缴纳了个人所得税，由于受贿行为本身非法，理论上可以申请退税。但实际操作中需根据具体案件情况和相关法律法规判断。
- 案例二：某企业员工利用职务之便挪用公司资金用于个人消费，后被公司发现并追缴。若该挪用资金在挪用期间已依法缴纳了相关税款（如个人所得税），由于挪用行为本身违纪但非非法所得来源（假设资金本身合法），则通常无需退还已纳税款。但若挪用行为导致公司损失，该员工可能需要承担赔偿责任。
总结与建议：违纪所得是否需要退还以及税款是否退还，需根据具体情况综合判断。若涉及非法所得，应主动配合追缴或退赔；若已依法纳税且所得合法（尽管违纪行为存在），则通常无需担心税款退还问题。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。