不可以直接不去办理，但具体需根据解除合同的合法性及单位通知内容来决定后续行动。以下从不同角度为你详细分析：

1. 若单位解除合同合法且通知程序合规
   根据《劳动合同法》第五十条，用人单位与劳动者解除或终止劳动合同时，应当出具解除或终止劳动合同的证明，并在十五日内为劳动者办理档案和社会保险关系转移手续。若单位已依法解除合同且通知你办理离职手续（如工作交接、工资结算、社保转移等），你应当配合办理。

   • 不办理的后果：可能影响工资结算、社保转移、离职证明开具等权益，甚至因未交接工作给单位造成损失时，需承担赔偿责任（《劳动合同法》第九十条）。
     
   • 建议行动：主动与单位沟通，确认解除依据（如是否符合《劳动合同法》第三十九条、第四十条、第四十一条等法定解除情形），要求单位出具书面解除通知，并协商办理离职手续的时间和方式。

2. 若单位解除合同违法或通知程序瑕疵

   • 违法解除的情形：如单位无合法理由（如未提前30日通知、未支付经济补偿等）解除合同，或解除依据不成立（如以“不能胜任工作”为由解除但未提供培训或调岗证据），则属于违法解除。
     
   • 不办理的潜在风险：若单位已违法解除，你拒绝办理手续可能被单位反诉“旷工”或“拒不交接”，但单位需举证其解除合法性。
     
   • 建议行动：
     
     1. 收集证据：保留单位解除通知、工资记录、考勤记录、工作成果等，证明单位违法解除的事实。
        
     2. 提出异议：通过书面形式（如邮件、律师函）向单位提出异议，要求继续履行合同或支付赔偿金（违法解除需支付2N倍经济补偿）。
        
     3. 申请劳动仲裁：若单位拒绝协商，可在1年内向劳动仲裁委员会申请仲裁，主张违法解除的赔偿或恢复劳动关系。

3. 特殊情况：单位未明确解除依据或通知内容模糊
   若单位仅口头通知解除但未出具书面文件，或解除理由含糊不清（如“公司调整”“你不适合”等），你有权要求单位明确解除依据并出具书面通知。

   • 不办理的风险提示：若单位后续补发合法解除通知，你可能因未及时配合被认定为“拒不交接”；若单位实际为违法解除，你的拖延可能影响后续维权时效（如仲裁申请期限）。
     
   • 建议行动：立即书面回复单位，要求其提供解除合同的法律依据、事实理由及补偿方案，并明确办理离职手续的时间节点。

总结：是否去办理需结合单位解除的合法性判断。若合法，应配合办理以保障自身权益；若违法，需通过法律途径维权，但需注意证据收集和时效问题。如有疑问，可直接向我咨询具体操作流程。