结论：以服装过敏为由要求退货，确实需要提供相应证据来支持自己的主张。具体能否退货以及退货的条件，需根据服装是否确实存在质量问题导致过敏、双方协商情况以及相关法律法规来综合判断。以下从不同角度为你详细分析：

消费者角度

1. 举证责任
   • 根据“谁主张，谁举证”的原则，如果你以服装过敏为由要求退货，需要提供证据证明过敏与该服装之间存在因果关系。例如，你可以提供医院的诊断证明，明确指出过敏是由穿着该服装引起的；或者提供过敏检测报告，显示你对服装中的某种成分过敏。
   • 举例：小张购买了一件新衣服，穿着后皮肤出现红肿、瘙痒等过敏症状。他及时去医院就诊，医生诊断为接触性皮炎，并指出可能是衣服中的某种化学物质导致。小张保留了医院的诊断证明和病历，这就为他后续要求退货提供了有力证据。
2. 退货权利
   • 如果能够证明服装存在质量问题导致过敏，根据《中华人民共和国消费者权益保护法》第二十四条，经营者提供的商品或者服务不符合质量要求的，消费者可以依照国家规定、当事人约定退货，或者要求经营者履行更换、修理等义务。没有国家规定和当事人约定的，消费者可以自收到商品之日起七日内退货；七日后符合法定解除合同条件的，消费者可以及时退货，不符合法定解除合同条件的，可以要求经营者履行更换、修理等义务。
   • 举例：小李购买的衣服经检测含有超标的有害化学物质，导致他皮肤过敏。在这种情况下，小李有权要求商家退货，并且商家应承担运输等必要费用。

商家角度

1. 核实证据
   • 商家在收到消费者以过敏为由要求退货的请求时，有权要求消费者提供相关证据，以核实过敏是否确实由该服装引起。如果消费者无法提供有效证据，商家可以拒绝退货请求。
   • 举例：小王购买衣服后称过敏要求退货，但无法提供医院诊断证明或过敏检测报告。商家在核实情况后，认为没有足够证据表明过敏与衣服有关，于是拒绝了小王的退货请求。
2. 商品质量检查
   • 如果消费者提供了初步证据表明过敏可能与服装有关，商家应对商品进行质量检查。如果发现商品确实存在质量问题，如使用了不合格的原材料、生产工艺存在缺陷等，商家应按照法律规定为消费者办理退货手续。
   • 举例：商家收到消费者的退货请求和相关证据后，对同批次的衣服进行检测，发现部分衣服的染料中含有致敏物质。在这种情况下，商家应主动联系消费者，为其办理退货并给予相应赔偿。
3. 协商解决
   • 即使商品没有明显的质量问题，但考虑到消费者的特殊情况，商家也可以与消费者进行协商，寻求双方都能接受的解决方案。例如，商家可以为消费者提供换货服务，或者给予一定的补偿。
   • 举例：小赵购买的衣服经检测质量合格，但小赵坚持称穿着后过敏。商家考虑到小赵的体验和感受，与小赵协商后，决定为小赵换一件其他款式的衣服，并赠送一些小礼品作为补偿，双方达成了和解。

争议解决途径

如果消费者和商家就退货问题无法达成一致意见，可以通过以下途径解决争议：

1. 向消费者协会投诉：消费者可以向当地的消费者协会投诉，请求消费者协会介入调解，协助解决纠纷。
2. 向市场监督管理部门投诉：市场监督管理部门负责对商家的经营活动进行监管，消费者可以向其投诉商家的不当行为，由市场监督管理部门依法进行处理。
3. 仲裁或诉讼：如果双方达成了仲裁协议，可以提请仲裁机构进行仲裁；如果没有达成仲裁协议，消费者可以向有管辖权的人民法院提起诉讼，通过司法途径解决争议。

建议：作为消费者，在购买服装时要注意保留好购物凭证，如发票、收据等。如果穿着后出现过敏症状，应及时就医并保留相关证据。在与商家沟通退货问题时，要理性、客观地表达自己的诉求，并提供充分的证据支持。作为商家，要重视消费者的反馈，积极核实情况，按照法律规定和商业道德处理退货请求，避免引发不必要的纠纷。如果你在处理此类问题时遇到具体问题，可以直接向我咨询。