退还贿赂后的处理方式会因具体情况而异，主要涉及受贿方和行贿方两个角度。以下是对两种情况的详细分析：
受贿方
及时退还或上交：
- 如果国家工作人员在收受请托人财物后，出于避免、减少或退回行贿人可能造成的危害后果的考虑，及时退还或上交，并且此行为并非出于自身或相关人员被查处的压力，那么通常不认定为受贿。这里的“及时”强调了主观上没有受贿的故意。
未及时退还，但在案发前退还：
- 若国家工作人员未能及时退还贿赂款，但在司法机关、纪检监察机关等发现线索、立案查处之前主动退还，虽然不能完全消除其受贿行为的违法性，但可以作为从轻处罚的情节。这表明了一定程度的悔罪态度，降低了犯罪行为的社会危害性。
案发后退还：
- 如果是在被查处后才退还或上交的贿赂款，这种退还行为就不能作为认定其不构成受贿罪的依据。此时，退还只能被视为一种悔罪表现，在量刑时予以适当考虑，但并不能免除其受贿罪的刑事责任。
行贿方
在被追诉前主动交待行贿行为并退还不正当利益：
- 行贿人在被追诉前主动交待行贿行为，并积极退还通过行贿获取的不正当利益，这体现了其较好的认罪悔罪表现。根据相关法律规定，可以从轻或者减轻处罚。如果行贿人的犯罪较轻，或对侦破重大案件起关键作用，或有重大立功表现，还可以进一步减轻甚至免除处罚。
单纯退还贿赂款，但未主动交待行贿行为：
- 如果行贿人只是单纯退还了给予受贿人的财物，但没有主动向司法机关、纪检监察机关等交待自己的行贿行为，那么在后续被追诉时，退还贿赂款的行为虽然可以作为一个酌定从轻情节考虑，但从轻的幅度相对有限。
总结与建议
- 主动退还贿赂款是一个积极的悔过行为，但并不能完全消除其违法性。在处理时，需要综合考虑退还的时间、动机、方式以及行贿受贿双方的具体行为表现等因素。
- 对于受贿方来说，及时退还或上交是避免法律责任的关键。如果未能及时退还，也应尽快采取措施，在案发前主动退还以减轻法律责任。
- 对于行贿方来说，在被追诉前主动交待行贿行为并退还不正当利益是减轻法律责任的有效途径。
- 无论受贿方还是行贿方，都应严格遵守法律法规，杜绝腐败行为的发生。如果面临相关法律问题，应及时咨询专业律师以获取准确的法律意见和帮助。