关于您提出的“个人所得税要是不退会怎么处理”的问题，这主要取决于您是属于需要退税的情况还是应当补税的情况。

首先，如果您是属于需要退税的纳税人，是否办理年度汇算申请退税是您的权利。如果您选择不退税，那么您无需承担任何责任，税务部门也不会对您进行处罚或追缴。退税是税务部门对预缴税款过多的一种返还，是您的合法权益。

然而，如果您是属于应当补税的纳税人，那么办理年度汇算就是您的义务了。根据税收征管法的相关规定，纳税人未按照规定期限办理纳税申报和报送纳税资料的，税务机关将责令限期改正，并可以处以罚款。具体来说，如果未按时补税，您可能会面临以下后果：

1. 罚款：税务机关可以处2000元以下的罚款；情节严重的，罚款金额可能会提高到2000元以上1万元以下。

2. 滞纳金：从超过缴纳期限之日起，税务机关将按日加收滞纳税款万分之五的滞纳金，作为对您未按时缴纳税款的惩罚。

3. 税收监管：如果您在汇算结束后仍未足额补缴税款，税务部门不仅将依法追缴税款和滞纳金，还将在您的《个人所得税纳税记录》上进行标注，将您纳入税收监管重点人员名单，并对您以后3个纳税年度的申报情况加强审核。

4. 进一步措施：对于涉税金额较大且经提醒后仍未改正或改正不到位的纳税人，税务部门将进行约谈提示；约谈警示后仍不配合的，税务部门将依法依规采取更进一步的措施，如冻结银行账户、查封财产等。

因此，建议您在符合退税条件时及时申请退税，在需要补税时也务必按时足额补缴，以避免不必要的法律风险和损失。如果您对个人所得税的汇算清缴有任何疑问或需要进一步的帮助，请随时咨询税务部门或专业的税务顾问。