针对您提出的“公职人员退回赃款500万怎么处理”的问题，这是一个涉及司法和行政两个层面的复杂问题。以下是我为您提供的详细解答：
一、司法层面处理
量刑情节考量：
- 在司法程序中，公职人员主动退回赃款是一个重要的量刑情节。根据相关法律法规，主动退赃可以视为悔罪表现，法院在量刑时会酌情予以从轻处罚。
赃款处理：
- 退回的赃款500万需要依法追缴或责令退赔。如果这些款项属于被害人的合法财产，应当及时返还给被害人；如果无法确定被害人或被害人无法领取，则应依法上缴国库。
- 侦查机关在查封、扣押赃款时，会妥善保管并随案移送。最终，这些赃款会根据法院的判决或裁定，依法上缴国库或返还给被害人。
法律责任追究：
- 退回赃款并不意味着公职人员可以免除法律责任。如果其行为构成犯罪，如贪污、受贿等，仍需依法追究刑事责任。但主动退赃可以作为从轻或减轻处罚的情节。
二、行政层面处理
政务处分：
- 除了司法处理外，公职人员还需面临政务处分。根据《中华人民共和国公职人员政务处分法》，公职人员因违法违纪行为可能受到警告、记过、降职、撤职等处分。
- 对于退回赃款500万的公职人员，如果其行为构成违法违纪，单位将根据其违法违纪的情节、性质和后果，依法给予相应的政务处分。
违法所得处理：
- 公职人员的违法所得，包括退回的赃款，将被没收、追缴或责令退赔。这些款项应退还原所有人或上缴国库，以确保公共财产的安全和合法使用。
单位内部处理：
- 除了政务处分外，公职人员所在单位还可能依据内部规章制度进行进一步处理。这可能包括启动内部调查程序、核实事实真相、进行批评教育、完善财务管理制度等措施。
- 单位应以此为契机，加强法制教育和职业培训，提高公职人员的法律意识和职业素养，防止类似事件再次发生。
三、综合处理与预防
公正公平公开处理：
- 在处理公职人员退回赃款的问题时，应确保处理过程的公正、公平和公开。这有助于维护法律的严肃性和公信力，同时也有助于增强公众对政府部门的信任和支持。
加强预防与教育：
- 除了对涉事公职人员进行严肃处理外，还应加强预防与教育工作。通过加强法制宣传、完善制度保障、强化监督制约等措施，提高公职人员的法律意识和廉洁自律意识，减少违纪违法行为的发生。
综上所述，公职人员退回赃款500万的处理涉及司法和行政两个层面。在司法程序中，应依法追缴或责令退赔赃款，并考虑量刑情节；在行政程序中，应给予政务处分并处理违法所得。同时，还应加强预防与教育工作，提高公职人员的法律意识和职业素养。