个人所得税退税不办理确实可能会产生一些影响。首先，我们需要明确，依法如实办理个人所得税汇算是每个纳税人的义务。如果纳税人已预缴的税额小于汇算实际应纳税额，并且不符合国务院规定的豁免补税汇算义务情形（如纳税年度内综合所得年收入不超过12万元或补税金额不超过400元），那么应当办理汇算补税。

对于应退或应补税额的计算，它是基于综合所得收入额，在扣除一定费用、专项扣除、专项附加扣除、其他依法确定的扣除以及符合条件的公益慈善事业捐赠后，按照适用税率和速算扣除数计算得出的。如果纳税人存在应退税额而未申请退税，那么这部分税额将不会被退还；如果存在应补税额而未及时补缴，则可能面临一些后果。

具体来说，如果纳税人未按规定办理个人所得税汇算，税务机关会进行提示提醒、督促整改和约谈警示，并通过电子、书面等方式向纳税人发送税务文书，提醒并督促其整改。如果纳税人拒不整改或整改不彻底，税务机关将依法进行立案检查，并在征收滞纳金的基础上加处罚款。此外，纳税人还可能被纳入税收监管重点人员名单，对其以后3个纳税年度的申报情况加强审核。

因此，建议纳税人务必按照规定及时办理个人所得税汇算，确保自己的税务合规。如果存在疑问或需要帮助，可以咨询专业的税务机构或税务人员，以获取准确的指导和帮助。