买衣服时商家不给开发票是违法的行为。根据《中华人民共和国发票管理办法》的相关规定，销售商品、提供服务以及从事其他经营活动的单位和个人，在收取款项后，有义务向付款方开具发票。这一规定明确了商家开具发票的法定义务，且适用于所有经营场所，包括服装店。

具体来说，商家在销售商品并收取款项后，必须依法向消费者开具发票，这是商家的基本法律义务，不得无故拒绝。如果因客观原因（如税控设备故障、发票用完等）暂时无法开具发票，商家应向消费者说明情况，并约定后续开具发票的时间。然而，如果商家无正当理由直接拒绝开具发票，则构成违规行为。

作为消费者，您有权要求商家开具发票，并在商家拒绝时采取相应措施维护自身权益。您可以首先尝试与商家沟通，明确指出其有开具发票的义务，要求其依法开具。如果协商不成，您可以向税务机关或消费者权益保护部门进行投诉和举报。税务机关有权责令商家改正其违法行为，并可处以罚款，从而有效维护税收秩序和消费者的合法权益。

因此，如果您在购买衣服时遇到商家不给开发票的情况，请务必积极维护自己的权益，要求商家开具发票，并在必要时向相关部门投诉。同时，也建议您选择正规、信誉良好的商家进行购物，以降低不必要的风险。