如果用户属于需要退税的情况，但未进行个人所得税的退税申报，这并不会导致直接的法律责任，因为退税是纳税人的权利，而非义务。然而，如果用户属于应补税的情形而未进行申报，那么就可能面临一定的法律责任。

根据税收征管法的相关规定，如果纳税人未按照规定期限办理纳税申报和报送纳税资料，税务机关有权责令其限期改正，并可能处以罚款。罚款的金额根据情节的严重程度有所不同，最高可能达到1万元。此外，对于未按时缴纳的税款，税务机关还会从超过缴纳期限之日起，按日加收滞纳税款的滞纳金。

除了可能面临的法律责任外，未进行应补税的申报还可能影响用户的信用记录。税务机关会对存在应办理未办理汇算等涉税问题的纳税人进行提醒、督促整改，甚至约谈警示。对于拒不整改或整改不彻底的纳税人，税务机关将依法进行立案检查，并可能将其纳入税收监管重点人员名单，对其以后几个纳税年度的申报情况加强审核。

因此，虽然不退税不申报在某些情况下可能不会直接导致法律责任，但为了避免可能的风险和不良影响，建议用户还是应当按时进行个人所得税的申报和汇算。如果有任何疑问或不确定的情况，建议及时咨询专业的税务顾问或当地税务机关以获取准确的指导。