购买衣服时，如果商家不开发票，这通常是违法的行为。根据《中华人民共和国发票管理办法》的相关规定，销售商品、提供服务以及从事其他经营活动的单位和个人，在对外发生经营业务并收取款项后，有明确的义务向付款方开具发票。这一规定适用于所有经营场所，自然也包括销售衣服的服装店。

商家的开票义务：

服装店作为销售商品并收取款项的一方，必须依法向消费者开具发票。这是商家的基本法律义务，不得无故拒绝。发票是交易的有效凭证，对于消费者来说，它不仅是购物的证明，也是享受售后服务、退换货等权益的重要依据。

特殊情况及处理：

当然，也存在一些特殊情况。比如，如果商家因税控设备故障、发票用完正在申领等客观原因暂时无法开具发票，他们应向消费者说明情况，并约定后续开具发票的时间。只要商家按约定处理，这种情况并不构成违规。但如果商家无正当理由直接拒绝开具发票，那就明显违反了法律规定。

消费者的维权途径：

作为消费者，如果您在购买衣服时遇到商家拒绝开具发票的情况，首先可以尝试与商家协商，明确指出其有开具发票的义务，并要求其依法开具。如果协商不成，您可以拨打12366纳税服务热线或向当地税务机关进行投诉举报。税务机关将依法对违规的商家进行调查，并根据调查结果进行相应的处罚，包括责令改正、处以罚款等。

总结与建议：

综上所述，购买衣服时商家不开发票是违法的行为，侵犯了消费者的合法权益。因此，建议您在购物时主动要求商家开具发票，并在遇到拒绝开票的情况时，积极通过合法途径维护自己的权益。同时，也希望税务机关能加强对商家开票行为的监管，确保税收法规得到有效执行，为消费者创造一个更加公平、透明的购物环境。