结论前置：对于商场服装店撤柜时衣服有脏、有残或鞋子有色差的问题，通常不能直接要求员工赔偿，而是应当找商家或店铺进行协商处理。

分析说明：

1. 责任归属：

   • 在商场服装店撤柜的情况下，如果商品（如衣服、鞋子）存在脏污、残缺或色差等问题，这通常属于商品质量问题或商家的管理问题。
   • 员工作为商家的雇员，其职责是执行商家的指示和提供服务，而不是直接承担商品质量问题的责任。

2. 赔偿途径：

   • 消费者应当首先与商家或店铺进行协商，要求商家对存在问题的商品进行退换、修理或赔偿。
   • 如果商家拒绝承担责任或协商无果，消费者可以进一步向消费者协会投诉，或者通过法律途径维护自己的合法权益。

3. 法律依据：

   • 根据《中华人民共和国消费者权益保护法》等相关法律法规，消费者在购买商品时享有质量保障、退换货等权利。
   • 商家应当对其销售的商品质量负责，并承担因商品质量问题而引发的相应责任。

4. 特殊情况：

   • 如果员工在销售过程中存在故意隐瞒商品缺陷、误导消费者等行为，且这些行为直接导致了消费者的损失，那么员工可能需要承担一定的责任。但这种情况较为罕见，且需要消费者提供充分的证据来证明。

总结：综上所述，对于商场服装店撤柜时商品存在的问题，消费者应当首先与商家进行协商处理。如果商家拒绝承担责任或协商无果，消费者可以寻求消费者协会的帮助或通过法律途径来维护自己的权益。在大多数情况下，不能直接要求员工赔偿。