早市收费不给发票是违法的。下面我从几个角度为你详细解释：

1. 法律规定：根据《中华人民共和国发票管理办法》的规定，销售商品、提供服务以及从事其他经营活动的单位和个人，对外发生经营业务收取款项时，应向付款方开具发票。早市作为一个经营场所，其收费行为同样应遵守这一规定。

2. 消费者权益：发票是消费者购物或接受服务的重要凭证，也是消费者维权的重要依据。如果早市收费不给发票，消费者的合法权益将无法得到有效保障。例如，在出现商品质量问题或服务纠纷时，消费者可能因无法提供发票而难以维权。

3. 税务监管：发票是税务部门监管税收的重要依据。早市收费不给发票，可能导致税收流失，影响国家财政收入。同时，这种行为也可能构成偷税漏税等违法行为，受到税务部门的处罚。

4. 市场规范：早市作为市场的一部分，其经营行为应遵守市场规范。不给发票的行为不仅违反了市场公平交易的原则，也损害了市场的整体形象。

综上所述，早市收费不给发票是违法的，不仅违反了法律规定，也损害了消费者权益和市场规范。如果你遇到了这种情况，可以向相关部门举报，以维护自己的合法权益和市场秩序。