罚款不给发票是违法的。以下是对此问题的详细分析：
一. 法律依据
《中华人民共和国消费者权益保护法》第二十二条：
- 经营者提供商品或者服务，应当按照国家有关规定或者商业惯例向消费者出具发票等购货凭证或者服务单据；消费者索要发票等购货凭证或者服务单据的，经营者必须出具。
《中华人民共和国发票管理办法》第十九条：
- 所有单位和从事生产、经营活动的个人在购买商品、接受服务以及从事其他经营活动支付款项时，应当向收款方取得发票。
这些法律法规明确规定了经营者在提供商品或服务（包括罚款）后，应当向消费者或支付方出具发票。
二. 罚款不给发票的后果
行政处罚：
- 根据《中华人民共和国发票管理办法》的相关规定，不按规定开具发票的，税务机关有权对经营者进行行政处罚，包括但不限于罚款和责令改正。
消费者投诉：
- 消费者在支付罚款后未收到发票的，有权向相关监管部门如工商部门、税务部门进行投诉，以维护自己的合法权益。
税务风险：
- 对于罚款收取方而言，不提供发票可能导致无法向国家申报相关收入，存在逃税风险。一旦被税务部门查处，将面临更严厉的罚款和其他处罚。
商誉风险：
- 不提供发票还可能影响罚款收取方的商业信誉和消费者信任，从而对商业经营产生负面影响。
三. 特殊情况
- 行政罚款：
- 行政罚款通常不开具发票，但会开具收据。这是因为行政罚款属于行政性收入，不属于经营活动取得的收入。然而，收据的开具也是必要的，以确保罚款资金的去向透明，避免贪污等风险。
综上所述，罚款不给发票是违法的。无论是正常销售商品还是罚款，只要涉及到经营者与消费者之间的财务往来，提供发票都是经营者的法定义务。如果消费者在支付罚款后没有收到发票，有权向经营者索要，并可以向相关监管部门投诉以维护自己的合法权益。同时，我也建议经营者在日常经营中严格遵守相关法律法规，确保发票的开具和使用符合规定。