关于您提出的“委托案子撤掉后，退费是否需要缴税”的问题，这主要取决于退费的具体性质和来源。一般来说，如果退费是原本就属于您的个人收入，比如您预先支付了某项服务费用，但因故服务未提供而退还的费用，这部分退费通常不属于应税收入，因此不需要缴税。
然而，如果退费中包含了因某种原因（如合同违约、服务未达标等）而获得的赔偿或补偿，且这部分赔偿或补偿被视为您的收入，那么根据税法的相关规定，您可能需要就这部分收入缴纳个人所得税。但这种情况下的缴税并非直接因为“退费”这一行为，而是因为退费中包含了应税的收入部分。
另外，如果您提到的“委托案子”涉及的是法律服务或类似的专业服务，并且退费中包含了之前已经支付给服务提供方的税款（比如代扣代缴的个人所得税），那么这部分税款在退费时通常不会再次缴税。因为税款是在服务提供方提供服务并收取费用时就已经计算并缴纳的，退费只是费用的返还，不涉及税款的重复计算。
为了更准确地回答您的问题，我建议您：
总的来说，退费是否需要缴税取决于退费的具体性质和来源。如果退费只是原本就属于您的个人收入的返还，那么通常不需要缴税；如果退费中包含了应税收入部分，那么您可能需要就这部分收入缴纳个人所得税。希望这个解答能够帮助您更好地理解问题。