如果您是属于需要退税的情况，不办理退税并不会承担任何责任，因为申请退税是您的权利，您可以选择放弃。

然而，如果您是属于应当补税的情况，那么办理年度汇算就是您的义务。如果您未按照规定期限办理纳税申报和报送纳税资料，根据税收征管法的相关规定，税务机关可能会责令您限期改正，并可能处以罚款。此外，如果您未依法办理个税年度汇算或申报后未及时缴纳税款，可能面临税务行政处罚，而且这样的行为还可能记入个人纳税信用档案，对个人信用产生影响。

总的来说，虽然不办理退税不会承担责任，但如果需要补税却不办理，则可能面临一系列严重的后果。因此，建议您根据自身情况，及时、准确地完成税务申报和汇算工作。