个人所得税退税后不需要交回给公司。个人所得税是由个人承担并缴纳的，公司只是履行代扣代缴义务。因此，当个人所得税退税后，退税款项应当直接归属于纳税人，即个人，而非公司。公司要求上交个人所得税退税款项是不合法的，因为这属于个人的合法财产。

此外，根据《中华人民共和国税收征收管理法》第五十一条的规定，纳税人超过应纳税额缴纳的税款，税务机关发现后应当立即退还。这表明，退税是税务机关对纳税人多缴税款的一种补偿，理应归纳税人所有。

综上所述，个人所得税退税后应归属于纳税人个人，无需交回给公司。如有任何关于此问题的进一步疑问或需要其他法律咨询，请直接向我提问。