关于退回受贿款是否要被罚没的问题，结论前置如下：
一般情况下，退回的受贿款仍可能被依法罚没：受贿行为本身已经构成违法，即使受贿款后来被退回，也不能改变受贿事实的存在。该款项作为违法所得的一部分，司法机关有权依法予以没收，上缴国库。这是对受贿违法犯罪行为的一种制裁手段，旨在彰显法律的严肃性和权威性，并起到威慑和预防类似犯罪的作用。
特殊情况下，退回的受贿款可能不被罚没：如果受贿人在被追诉前主动交待受贿行为，并且受贿款是在司法机关介入前主动退回的，同时受贿人的行为符合法律规定的从轻、减轻或免除处罚情节，司法机关可能会综合考虑不对受贿款进行没收。但这种情况相对较少，且必须严格依据法律规定和司法机关的判定。
详细分析：
受贿罪的认定：根据《中华人民共和国刑法》第三百八十五条，国家工作人员利用职务上的便利，索取他人财物的，或者非法收受他人财物，为他人谋取利益的，是受贿罪。这意味着，一旦受贿行为成立，无论财物是否被退回，都构成受贿罪。
罚没的法律依据：受贿款作为违法所得，司法机关有权依法予以没收。这是法律对受贿行为的一种制裁措施，旨在剥夺犯罪分子的非法利益，维护社会的公平正义。
退赃情节的影响：虽然退赃行为本身不能改变受贿罪的成立，但在量刑时，法院会考虑退赃的情节。如果受贿人在案发前主动退赃，或者在被追诉后积极退赃，这可以被视为悔过表现，法院在量刑时可能会给予从轻或减轻处罚的考虑。然而，这并不意味着受贿款就一定不会被没收。
特殊情况的考量：在特殊情况下，如受贿情节显著轻微、危害不大，或者受贿人具有自首、立功等法定从轻、减轻或免除处罚情节，且受贿款是在司法机关介入前主动退回的，司法机关可能会综合考虑不对受贿款进行没收。但这种情况需要严格依据法律规定和司法机关的判定，不能一概而论。
建议与注意事项：
主动退赃：如果涉嫌受贿，主动退赃是一个积极的悔过表现，有助于在量刑时获得从轻或减轻处罚的考虑。但退赃并不能完全消除受贿罪的法律后果，仍需承担相应的法律责任。
寻求法律帮助：面对受贿指控，建议尽快寻求专业律师的帮助。律师将根据你的具体情况提供针对性的法律分析和建议，帮助你更好地了解自己的权益和责任，以及可能的法律后果。
遵守法律法规：无论身处何种职位，都应严格遵守法律法规，远离任何形式的受贿行为。受贿不仅损害了公职人员的形象和声誉，更破坏了社会的公平正义和法治秩序。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。