买衣服时商家不给发票确实是违法的行为。这一结论基于我国相关的法律法规，下面我将为您详细解释：
法律依据
根据《中华人民共和国发票管理办法》第十九条的明确规定，销售商品、提供服务以及从事其他经营活动的单位和个人，在对外发生经营业务收取款项时，收款方有义务向付款方开具发票。这意味着，无论交易金额大小，商家在收到消费者支付的价款后，都必须为消费者开具发票。
同时，《中华人民共和国消费者权益保护法》第二十二条也规定，经营者提供商品或者服务，应当按照国家有关规定或者商业惯例向消费者出具发票等购货凭证或者服务单据。这进一步强调了商家在销售商品时有法定义务向消费者提供发票。
商家的义务
商家作为销售方，在收到消费者支付的价款后，开具发票是其应尽的法定义务。这一义务不因交易金额的大小、交易方式的不同（如线上或线下）而有所改变。商家不得以任何理由拒绝为消费者开具发票。
消费者的权利
作为消费者，您在购买衣服时有权要求商家开具发票。发票不仅是您购物的凭证，更是您维护自身合法权益的重要依据。在遇到商品质量问题、需要退换货或享受售后服务时，发票能够证明消费的事实和相关信息，为您的维权提供有力支持。
应对措施
如果商家拒绝开具发票，您可以采取以下措施来维护自己的合法权益：
主动索要：在购买衣服时，主动向商家提出开具发票的要求。
投诉举报：如果商家仍然拒绝开具发票，您可以向当地的税务机关或消费者权益保护部门进行投诉和举报。税务机关有权责令商家改正其违法行为，并可处以罚款。
选择正规商家：为了避免不必要的纠纷和风险，建议您在购物时选择正规、信誉良好的商家。这样的商家更有可能严格遵守法律法规，为您提供优质的商品和服务。
总结
买衣服时商家不给发票是违法的行为。作为消费者，您有权要求商家开具发票，并在必要时向相关部门投诉以维护自身合法权益。同时，也建议您在购物时选择正规商家，以降低遇到此类问题的风险。希望这些信息能够帮助您更好地了解自己的权利和商家的义务。