受贿后退回上缴的款项，应认定为违法所得，而非仅仅是违纪款。以下是对此结论的详细分析：

一. 法律依据

1. 受贿罪的定义：根据《中华人民共和国刑法（2023修正）》第三百八十五条，国家工作人员利用职务上的便利，索取他人财物的，或者非法收受他人财物，为他人谋取利益的，是受贿罪。这表明，一旦国家工作人员非法收受了他人财物，即构成了受贿罪，所收受的财物即成为违法所得。

2. 违法所得的处置：受贿罪成立后，所收受的财物无论是否退回或上缴，其性质已经转变为违法所得。退回或上缴只是犯罪后的行为，不能改变财物本身的性质。

二. 法理分析

• 受贿行为完成后，受贿人即获得了不当利益，这部分利益就是违法所得。即使后来受贿人主动退回或上缴了这部分财物，也不能改变其原本属于违法所得的事实。
• 退回或上缴违法所得，可以作为量刑时的一个考虑因素，但并不能改变违法所得的性质。

三. 实例说明

• 假设某国家工作人员利用职务之便，非法收受了他人财物。事后，因害怕被查处，该工作人员将收受的财物退回或上缴。在这种情况下，退回或上缴的财物仍然是违法所得，只是该工作人员的悔过表现可以在量刑时予以考虑。

综上所述，受贿后退回上缴的款项应认定为违法所得。这一结论是基于对受贿罪定义和违法所得性质的理解，以及法理分析和实例说明得出的。如有进一步需要，您可以继续咨询我。