买衣服时商家不给发票确实是违法的行为。这一结论基于我国相关的法律法规，下面我将为您详细解释：

法律依据

根据《中华人民共和国发票管理办法》第十九条的明确规定，销售商品、提供服务以及从事其他经营活动的单位和个人，在对外发生经营业务收取款项时，收款方有义务向付款方开具发票。这意味着，无论您是在实体店购买衣服，还是通过线上购物平台，商家在收到您的支付款项后，都必须为您开具发票。

商家的义务

商家作为销售方，在销售商品时有法定义务向消费者提供发票。这是商家必须遵守的法律规定，也是保障消费者权益的重要一环。发票不仅是消费者购物的凭证，更是维护自身合法权益的重要依据。在遇到商品质量问题、需要退换货或享受售后服务时，发票能够证明消费的事实和相关信息，为消费者提供有力的法律支持。

消费者的权利

作为消费者，您在购买衣服时有权向商家索要发票。这是您的合法权利，也是保障自身权益的重要步骤。如果商家拒绝开具发票，您可以向税务机关或消费者权益保护部门进行投诉和举报。税务机关有权责令商家改正其违法行为，并可处以罚款，从而有效维护税收秩序和您的合法权益。

特殊情况说明

虽然在实际生活中，可能存在一些小额零售交易中商家不主动提供发票的情况，但这并不改变商家应消费者要求开具发票的法定义务。无论交易金额大小，您都有权要求商家开具发票，并应得到商家的积极响应和满足。

建议

为了避免不必要的纠纷和风险，我建议您在购物时选择正规、信誉良好的商家。这样的商家更有可能严格遵守法律法规，为您提供优质的商品和服务，并主动开具发票。同时，您也应增强法律意识，积极索要发票，以维护自己的合法权益和国家税收秩序。

综上所述，买衣服时商家不给发票是违法的行为。您应充分了解自己的权利和商家的义务，积极维护自身的合法权益。在遇到商家拒绝开具发票的情况时，应采取有效的应对措施，确保自己的消费权益得到切实保障。