核心结论：您可以要求商家进行退货退款、换货或者给予一定的赔偿，具体赔偿方式需根据实际情况与商家协商，若协商不成可通过多种途径维权。以下是详细分析：
法律依据及赔偿方式分析
根据《消费者权益保护法》相关规定
- 退货退款：如果新买的衣服只穿一次就掉色不能穿了，这明显属于商品质量问题。根据《消费者权益保护法》第二十四条，经营者提供的商品或者服务不符合质量要求的，消费者可以依照国家规定、当事人约定退货，或者要求经营者履行更换、修理等义务。所以您有权要求商家为您办理退货，并全额退还您购买衣服的款项。
- 换货：如果您还喜欢这款衣服的款式等，不想退货，也可以要求商家为您更换一件同款式、同规格且质量合格的新衣服。
- 适当赔偿：如果因为衣服掉色问题给您造成了其他损失，比如因为穿着该掉色衣服导致其他衣物被染色，产生了清洗费用或者衣物损坏的损失等，您可以要求商家对这些额外损失进行赔偿。不过，对于赔偿金额的确定，需要您提供相应的证据来证明损失的具体数额，例如清洗费用的发票、被损坏衣物的购买凭证等。
与商家协商
- 友好沟通：您可以先与商家友好地沟通，向商家说明衣服存在的问题，如只穿一次就掉色且无法再穿，同时出示购买凭证（如发票、小票等）。在沟通时，要保持冷静和理性，明确表达您的诉求，即希望商家按照上述法律规定进行退货退款、换货或者赔偿。
- 协商记录：如果可能的话，建议您在与商家协商的过程中进行录音或者保留聊天记录等，以备后续维权时使用。这些记录可以作为证据，证明您已经与商家进行过沟通以及商家的态度和承诺。
若协商不成，可采取的维权途径
- 向消费者协会投诉
- 投诉方式：您可以拨打12315消费者投诉举报专线电话，或者通过当地消费者协会的官方网站、微信公众号等渠道进行投诉。在投诉时，要详细说明购买衣服的情况、存在的问题以及与商家协商的过程和结果等。
- 处理流程：消费者协会在接到您的投诉后，会对情况进行调查核实，并组织双方进行调解。如果调解成功，商家会按照调解协议履行相应的责任；如果调解不成，消费者协会会告知您其他的维权途径。
- 向有关行政部门申诉
- 申诉部门：根据衣服销售的具体情况，您可以向当地的工商行政管理部门或者质量技术监督部门进行申诉。例如，如果是在商场、超市等实体店铺购买的衣服，可以向工商行政管理部门申诉；如果怀疑衣服存在质量问题，也可以向质量技术监督部门申请质量检测。
- 申诉材料：在申诉时，您需要提供购买衣服的凭证、衣服存在质量问题的证据（如照片、视频等）以及与商家协商的记录等材料。行政部门会根据您提供的材料进行调查处理，并依法对商家进行处罚，同时要求商家对您进行赔偿。
- 通过仲裁或诉讼解决
- 仲裁：如果您与商家在购买衣服时签订了仲裁协议，那么在发生纠纷后，您可以根据仲裁协议向仲裁机构申请仲裁。仲裁机构会按照仲裁程序进行审理，并作出裁决。仲裁裁决具有法律效力，商家必须履行。
- 诉讼：如果没有仲裁协议，您也可以直接向人民法院提起诉讼。在诉讼过程中，您需要向法院提交起诉状、相关证据等材料，法院会根据事实和法律规定进行审理，并作出判决。如果商家不履行判决，您可以向法院申请强制执行。