单位确实负有代扣代缴个人所得税的义务。这一义务主要基于《中华人民共和国个人所得税法》及其相关实施规定。以下是对这一问题的详细解答：

一、代扣代缴义务的法律依据

1. 《中华人民共和国个人所得税法》：该法明确规定了扣缴义务人的责任和义务，要求扣缴义务人在支付个人所得时，必须依法代扣代缴个人所得税。

2. 《国家税务总局关于全面实施新个人所得税法若干征管衔接问题的公告》（国家税务总局公告2018年第56号）：该公告进一步细化了扣缴义务人在支付劳务报酬所得时的预扣预缴个人所得税的具体规定，要求扣缴义务人按次或者按月进行预扣预缴。

二、代扣代缴义务的具体内容

1. 扣缴范围：单位作为扣缴义务人，需要代扣代缴其支付给员工的所有工资、薪金所得，以及支付给未签订劳务合同的临时用工人员的劳务报酬所得等。

2. 扣缴方式：根据个人所得税法和相关政策规定，单位应实行全员全额扣缴申报，将当期向职工发放的所有工资、津贴、补贴和奖金等收入进行合并计算应扣缴的个人所得税。

3. 报送资料：单位需要按时向主管税务机关报送扣缴个人所得税报告表、代扣代收税款凭证、支付个人收入明细表以及税务机关要求报送的其他有关资料。

三、未履行代扣代缴义务的后果

1. 税务机关追缴税款：如果单位存在应扣未扣、应收而不收税款的情形，税务机关将向纳税人追缴税款。

2. 罚款：对扣缴义务人（即单位）处以应扣未扣、应收未收税款百分之五十以上三倍以下的罚款。

四、特殊情况说明

对于行政机关和事业单位，它们同样是个人所得税扣缴义务人的重要组成部分，应依法认真履行代扣代缴义务。近年来，随着工资发放方式的改变，这些单位在代扣代缴工作中也出现了一些问题，如自行发放的津贴、补贴未纳入个人收入并扣缴个人所得税等。因此，这些单位更需要加强内部管理，确保依法履行代扣代缴义务。

综上所述，单位作为扣缴义务人，在支付个人所得时必须依法代扣代缴个人所得税。这是单位的法律责任，也是维护税法严肃性和依法治税的重要体现。