不违法，但建议及时办理退税手续。以下从不同角度为你详细分析：

法律角度

从法律层面来讲，个人所得税退税是纳税人的权利，而非义务。也就是说，即使你应退的税款只有几十块钱，不选择去办理退税手续，也并不构成违法行为。税务机关不会因为纳税人未申请退税而对其进行处罚。然而，如果你存在应退税款而未申请，同时又有应补税款而未补缴的情况，那么税务机关在发现后，会要求你补缴税款，并可能根据具体情况加收滞纳金或进行罚款。但就你提到的“几十块钱不退”这一单一行为而言，并不涉及违法问题。

实际影响角度

虽然不退税不违法，但从实际影响来看，退税是纳税人应享的权益。几十块钱虽然数额不大，但也是你合法劳动所得的一部分。通过退税，你可以将这部分资金收回，用于日常消费或储蓄。此外，及时办理退税手续也有助于维护你的税收信用记录，避免在未来可能出现的税务审查中产生不必要的麻烦。

操作建议角度

1. 了解退税政策：首先，建议你了解清楚个人所得税的退税政策，包括退税的条件、流程以及所需材料等。这有助于你更好地判断自己是否符合退税条件，以及如何准备相关材料。
2. 及时办理退税：如果你确定自己符合退税条件，那么建议及时办理退税手续。你可以通过个人所得税APP或前往当地税务机关进行办理。退税流程相对简单，只需按照提示填写相关信息并提交申请即可。
3. 保留相关凭证：在办理退税过程中，建议你保留好相关凭证，如退税申请表、完税证明等。这些凭证在未来可能出现的税务审查中可能会起到重要作用。

总结来说，个人所得税几十块钱不退并不违法，但建议你及时办理退税手续，以维护自己的合法权益和税收信用记录。如果你在退税过程中遇到任何问题或需要进一步的法律帮助，可以直接向我咨询。