不给他开发票这一行为本身是违法的，但对方欠货款这一情况不能成为你不开发票的合法理由。以下从不同角度为你详细分析：

从发票管理法规角度

根据我国《发票管理办法》的规定，销售商品、提供服务以及从事其他经营活动的单位和个人，对外发生经营业务收取款项，收款方应当向付款方开具发票。也就是说，只要发生了经营业务并收取了款项，就有开具发票的法定义务，这是强制性的规定，不因对方是否拖欠货款而改变。如果不按照规定开具发票，税务机关可以责令改正，并可以处1万元以下的罚款；有违法所得的还会予以没收。

从合同及交易秩序角度

在商业交易中，开具发票是交易流程中的重要环节，它不仅是财务记账的凭证，也是保障交易合法、有序进行的重要依据。即使对方存在拖欠货款的行为，你也应该通过合法的途径去解决货款纠纷，比如协商、发送催款函、提起诉讼等，而不能采取不开发票这种违反发票管理规定的方式来应对。不开发票可能会影响对方的财务处理和税务申报，进而破坏正常的商业交易秩序。

从货款纠纷解决角度

对方欠货款，你有权利通过合法手段追讨。你可以先与对方进行友好协商，明确还款的时间和方式；如果协商不成，可以向对方发送催款函，正式要求其支付货款；若对方仍然拒绝支付，你可以向法院提起诉讼，通过法律途径来维护自己的合法权益。在诉讼过程中，发票可以作为证明交易关系和货款金额的重要证据之一，所以不开发票反而可能对你追讨货款产生不利影响。

如果你在发票开具或者货款追讨方面还有其他疑问，欢迎随时向我咨询。