退缴违法所得后，这些钱通常不会直接返还给你，而是会依法进行处理，且退缴行为本身并不直接决定你是否会受到其他处罚，但可能作为量刑或处罚的考量因素。以下从不同角度为你详细分析：

一、退缴违法所得的法律性质与处理

1. 法律义务：退缴违法所得是违法者应尽的法律义务。根据《中华人民共和国刑法》第六十四条的规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔。这表明，退缴违法所得是法律对违法者的一种要求，旨在剥夺其因违法行为而获得的非法利益。

2. 处理方式：退缴的违法所得，一般会根据具体情况进行上缴国库或返还给被害人。如果违法所得与特定被害人有关，且能够明确归属，那么这些钱会返还给被害人；如果无法明确归属或涉及公共利益，则可能上缴国库。无论如何，退缴的违法所得都不会直接返还给违法者本人。

二、退缴违法所得与处罚的关系

1. 不免除处罚：退缴违法所得并不直接免除违法者的处罚。无论是行政处罚还是刑事处罚，其目的都是惩罚违法行为、维护社会秩序和公共利益。退缴违法所得只是违法者履行法律义务的一部分，并不能改变其违法行为已经发生的事实。

2. 量刑或处罚的考量因素：虽然退缴违法所得不能免除处罚，但可能作为量刑或处罚的考量因素。在行政处罚中，根据《中华人民共和国行政处罚法》第三十二条的规定，当事人主动消除或者减轻违法行为危害后果的，应当从轻或者减轻行政处罚。退缴违法所得可以视为一种主动消除或减轻违法行为危害后果的行为，因此可能获得从轻或减轻处罚的待遇。在刑事处罚中，退赃（即退缴违法所得）也是量刑时的一个重要考虑因素，通常可以在量刑时获得从轻处罚。

三、特殊情况下的处理

1. 特定领域的例外：在某些特定领域或情况下，如自然资源行政执法工作中，如果违法行为人主动将全部违法所得退还给了受损人，行政处罚决定中可能无须再作出没收违法所得的决定。但这并不意味着完全免除了行政责任，行政机关仍可能根据具体情况作出其他行政处罚。

2. 综合考量：实际处罚的轻重会根据违法者的具体犯罪情节、退缴违法所得的情况以及是否有其他法定从轻、减轻处罚的情节等因素进行综合考虑。因此，即使退缴了违法所得，违法者仍可能面临一定的处罚。

四、建议与注意事项

1. 主动退缴：如果你涉及违法行为并获得了违法所得，建议主动退缴以履行法律义务并争取从轻或减轻处罚的待遇。

2. 咨询专业意见：在处理退缴违法所得和接受处罚的过程中，建议咨询专业律师的意见以了解自己的权利和义务并制定合适的策略。

3. 遵守法律法规：无论是否退缴违法所得或受到何种处罚，都应遵守法律法规并避免再次违法。

如果你有任何关于退缴违法所得或相关法律问题的疑问，可以直接向我咨询。