关于“员工汇算清缴不交个税单位是否有责任”的问题，我们需要从几个方面来详细分析。

首先，明确一点，员工个人不进行汇算清缴并补缴或退税，主要责任在于员工个人。员工若未按规定进行汇算清缴，可能会面临经济损失（如滞纳金、错失退税机会）、行政处罚（如罚款、甚至刑事责任）以及信用受损（影响贷款、信用卡申请等）等严重后果。这些后果主要由员工个人承担，因为他们是纳税义务的主体。

然而，公司在个税缴纳方面也有一定的责任和义务。根据相关规定，公司作为扣缴义务人，有责任从员工工资中代扣代缴个人所得税。这意味着，如果公司未按照法律规定代扣代缴个税，或者因疏忽、故意等原因导致个税未缴纳，公司是需要承担相关法律责任的。

但需要注意的是，如果员工个人在汇算清缴过程中存在逃税、漏税等行为，而公司并未参与或知情，那么公司通常不需要为员工个人的这些行为承担责任。公司的责任主要集中在代扣代缴的环节中，确保按照法律规定扣缴并缴纳个税。

综上所述，员工汇算清缴不交个税的主要责任在于员工个人，但公司也有责任确保按照法律规定代扣代缴个税。如果公司未履行这一义务，将需要承担相应的法律责任。因此，建议公司和员工都应严格遵守税收法律法规，确保个税的合规缴纳。