欠款单位不让开发票是违法的。以下从不同角度为你详细分析：
从发票管理法规角度 根据我国《中华人民共和国发票管理办法》规定，销售商品、提供服务以及从事其他经营活动的单位和个人，对外发生经营业务收取款项，收款方应当向付款方开具发票；特殊情况下，由付款方向收款方开具发票。所以，欠款单位作为收款方，在收到款项后，有义务向付款方开具发票，不允许开具发票的行为违反了该法规的规定。
从税务合规角度 发票是税务机关进行税收征管的重要依据。企业开具发票后，需要按照发票上记载的金额和税率计算应纳税额并申报缴纳税款。如果欠款单位不开发票，就可能导致其隐瞒收入，逃避纳税义务，这不仅损害了国家的税收利益，也破坏了公平竞争的市场环境。税务机关一旦发现这种违法行为，会对欠款单位进行税务稽查，要求其补缴税款、滞纳金，并可能处以罚款等处罚。
从合同履行角度 在很多交易合同中，开具发票是合同的一项附随义务。欠款单位不开发票，可能构成对合同附随义务的违反。付款方有权要求欠款单位按照合同约定开具发票，如果欠款单位拒绝履行，付款方可以通过协商、诉讼等方式维护自己的合法权益。例如，付款方可以以欠款单位未开具发票为由，拒绝支付剩余款项（前提是合同中有相关约定），或者要求欠款单位承担因未开具发票给自己造成的损失，如无法进行税前扣除而多缴纳的税款等。