结论：在单位购销合同中，买方违约延期支付货款向供方支付的延迟支付违约金，若该违约金属于增值税应税项目且符合相关规定，供方可以开具发票，但买方能否用此发票进行抵扣，需根据具体情况判断，一般情况下，因买方违约而支付的违约金不属于增值税抵扣范围，不能进行抵扣。

分析说明：

1. 发票开具的合法性：

   • 根据《中华人民共和国发票管理办法》及相关规定，销售商品、提供服务以及从事其他经营活动的单位和个人，对外发生经营业务收取款项，收款方应当向付款方开具发票。因此，若延迟支付违约金属于供方因销售货物或提供服务而收取的款项的一部分，且符合增值税应税项目的范围，供方有权开具发票。

2. 增值税抵扣的适用性：

   • 增值税抵扣通常适用于纳税人购进货物、加工修理修配劳务、服务、无形资产或者不动产，支付或者负担的增值税额。然而，因买方违约而支付的违约金，并不属于上述可抵扣的范围。这是因为违约金并非因正常的购销活动而产生的增值税应税行为，而是因买方违约行为导致的赔偿性支出。

3. 特殊情况下的考虑：

   • 如果购销合同中明确约定了违约金的具体计算方式，并且该违约金与货物的销售价格、数量等直接相关，且在实际操作中，该违约金被视为货物价款的一部分进行收取，那么在这种情况下，可能存在一定的争议空间。但即便如此，根据税务部门的常规理解和实践，因违约而支付的违约金通常仍不被视为可抵扣的增值税额。

4. 税务合规建议：

   • 对于买方而言，应明确区分正常的购销款项与因违约而支付的违约金，避免将不可抵扣的支出误作为可抵扣的增值税额进行申报。
   • 对于供方而言，在开具发票时，应准确描述款项的性质，如明确标注为“延迟支付违约金”等，以便税务部门进行准确识别和审核。

行动建议：

• 如果买方希望降低税务成本，可以考虑与供方协商，通过调整合同条款、优化支付方式等方式来减少违约金的支付或将其转化为可抵扣的支出。
• 双方均应加强税务合规意识，确保在购销活动中遵守相关税收法律法规，避免因税务问题而引发不必要的法律风险和经济损失。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我会根据你的具体情况提供详细的法律建议。