结论：残疾人和单位解除劳动合同后，单位给予的补偿所得是否能退税，需根据补偿的性质及具体税收法规来判断，一般情况下，经济补偿金在符合一定条件下可能免征个人所得税，但并非所有补偿都能直接退税。以下从不同角度详细分析：

一、经济补偿金的税收处理

1. 经济补偿金的定义：经济补偿金是用人单位与劳动者解除或终止劳动合同时，依法应支付给劳动者的经济上的补助。它通常基于劳动者在用人单位的工作年限、工资水平等因素确定。

2. 税收政策：

   • 根据《财政部、国家税务总局关于个人与用人单位解除劳动关系取得的一次性补偿收入征免个人所得税问题的通知》（财税〔2001〕157号）规定，个人因与用人单位解除劳动关系而取得的一次性补偿收入（包括用人单位发放的经济补偿金、生活补助费和其他补助费用），在当地上年职工平均工资3倍数额以内的部分，免征个人所得税；超过的部分按照《国家税务总局关于个人因解除劳动合同取得经济补偿金征收个人所得税问题的通知》（国税发〔1999〕178号）的有关规定，计算征收个人所得税。
   • 这意味着，如果残疾劳动者获得的经济补偿金在当地上年职工平均工资3倍数额以内，则无需缴纳个人所得税；若超过此限额，则需对超出部分缴纳个人所得税。

二、退税的可能性与条件

1. 退税的一般条件：退税通常发生在纳税人实际缴纳的税款超过了其应缴纳的税款时。在劳动合同解除的情境下，如果残疾劳动者之前并未就经济补偿金缴纳过个人所得税（即补偿金在免税范围内），则不存在退税的问题。

2. 特殊情况下的退税：

   • 如果残疾劳动者之前已经就经济补偿金缴纳了个人所得税，但后续发现补偿金实际上在免税范围内（例如，因误解或计算错误而多缴了税款），则可以根据税收法规申请退税。
   • 另外，如果残疾劳动者因残疾而享受了特定的税收优惠政策（如残疾、孤老人员和烈属的所得减征个人所得税等），且这些政策适用于经济补偿金，那么在符合政策条件的情况下，也可能涉及退税问题。但具体政策因地区而异，需咨询当地税务机关。

三、实际操作建议

1. 了解税收政策：残疾劳动者在解除劳动合同前，应主动了解当地关于经济补偿金税收的政策规定，以便准确判断自己是否需要缴纳个人所得税以及可能的退税情况。

2. 保留相关证据：在解除劳动合同过程中，残疾劳动者应妥善保留与经济补偿金相关的所有证据（如解除劳动合同协议、补偿金支付凭证等），以便在需要时向税务机关提供证明。

3. 咨询税务机关：如果残疾劳动者对经济补偿金的税收处理存在疑问或需要申请退税，建议及时咨询当地税务机关或专业税务律师，以确保自己的权益得到妥善维护。

总结：残疾人和单位解除劳动合同后，单位给予的补偿所得是否能退税，需根据补偿的性质、金额以及当地税收政策来判断。在一般情况下，经济补偿金在免税范围内无需缴纳个人所得税，也就不存在退税问题；若超出免税范围或存在特殊情况，则可能涉及退税问题。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。