结论：衣服不卖给顾客是否违法，需根据具体情况和相关法律法规来判断。在大多数情况下，商家拥有自主经营权，可以选择交易对象；但在特定情形下，如违反强制缔约义务、构成歧视或违反合同约定时，拒绝交易可能触犯法律。

1. 商家的自主经营权

在普通的货物买卖交易中，商家通常享有自主经营权。这意味着商家有权根据自己的判断，决定与谁进行交易、交易的内容和条件等。例如，一家服装店店主可能因为个人喜好、库存情况或顾客的购买历史等因素，选择不将某件衣服卖给某个顾客。这种行为在一般情况下并不违法，因为商家有权自主决定其商业活动。

2. 可能违法的情形

• 违反强制缔约义务： 在某些特定行业或情形下，商家可能负有强制缔约的义务。这通常发生在公共服务行业或具有公益性质的行业，如水、电、气供应、公共交通、医疗机构等。这些行业为了保障公众的基本生活需求和公共利益，必须与顾客订立合同进行交易，不得无故拒绝。然而，在普通的货物买卖交易中，如服装销售，商家通常不负有这样的强制缔约义务。但值得注意的是，如果商家在销售过程中作出了某种承诺或广告宣传，导致顾客产生了合理的期待，那么商家可能因违反诚信原则而面临法律责任。不过，这种情况并不直接等同于违法，而是可能涉及违约或欺诈等法律问题。

• 构成歧视： 如果商家拒绝向顾客出售衣服是基于种族、性别、宗教信仰、残疾等不合理的歧视性原因，那么这种行为可能违反反歧视的法律法规。例如，如果一家服装店因为顾客的种族或性别而拒绝接待或销售衣服，这就构成了对消费者的歧视，会受到法律的制裁。

• 违反合同约定： 如果商家与顾客之间已经签订了合同，并且合同中明确规定了商家必须向顾客提供某种衣服或服务，那么商家拒绝履行合同义务就是违法的。在这种情况下，顾客可以依据合同条款向法院提起诉讼，要求商家承担法律责任。

建议：

• 作为商家，在决定是否向顾客出售衣服时，应充分考虑相关法律法规和自身义务。在享有自主经营权的同时，也应注意不要违反强制缔约义务（尽管在普通货物买卖中较少见）、构成歧视或违反合同约定。
• 作为顾客，如果遇到商家无正当理由拒绝销售衣服的情况，可以首先尝试与商家沟通协商。如果沟通无果，且认为商家的行为可能违反了相关法律法规或合同约定，可以考虑向相关部门投诉或寻求法律帮助。

如有任何疑问或需要进一步的法律建议，请直接向我咨询。