结论：在合伙生意中，若一方不缴纳税款，其他方一般不能直接要求退回投资款，但可以根据具体情况采取相应的法律措施来维护自身权益。
详细分析：
合伙协议中的约定：
- 首先，需要查看合伙协议中是否有关于税款缴纳和投资款退回的具体约定。如果合伙协议中明确规定了在一方不缴纳税款的情况下，其他方有权要求退回投资款，那么这一约定将具有法律效力，其他方可以依据此约定来维护自身权益。
法律责任与后果：
- 如果合伙协议中没有相关约定，那么需要依据相关法律法规来处理。不缴纳税款是违法行为，税务机关有权对违法行为进行处罚，包括罚款、滞纳金等。但这并不直接导致其他方有权要求退回投资款。
- 在这种情况下，其他方可以考虑通过法律途径追究不缴纳税款方的法律责任，如要求其补缴税款、承担罚款等，但这并不等同于直接退回投资款。
合伙关系的解除与清算：
- 如果不缴纳税款的行为严重影响了合伙企业的正常运营，且其他方认为无法继续合作，可以考虑解除合伙关系。在解除合伙关系时，需要进行清算，包括资产分配、债务承担等。
- 在清算过程中，如果发现不缴纳税款方存在过错或违法行为，导致合伙企业遭受损失，其他方可以要求其承担相应的赔偿责任。但这仍然不是直接退回投资款，而是通过清算程序来分配剩余资产和承担债务。
实际操作建议：
- 在处理此类问题时，建议先与不缴纳税款方进行沟通协商，尝试解决分歧。如果协商无果，可以考虑寻求法律援助或咨询专业律师，了解具体的法律程序和维权途径。
- 同时，建议保留好相关证据，如合伙协议、税款缴纳记录、沟通协商记录等，以便在需要时提供证明。
法律背景：
- 根据《中华人民共和国合伙企业法》的相关规定，合伙企业应当依法履行纳税义务。合伙人应当按照合伙协议的约定或者法律规定承担纳税责任。
- 如果一方不缴纳税款，其他方可以依据合伙协议或相关法律法规追究其法律责任，但并不能直接要求退回投资款。
后续行动建议：
- 如果您遇到此类问题，建议先仔细审查合伙协议中的相关条款，了解自身的权利和义务。
- 同时，及时与不缴纳税款方进行沟通协商，尝试解决问题。如果协商无果，可以考虑通过法律途径来维护自身权益。
- 在整个过程中，务必保留好相关证据，以便在需要时提供证明。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。