结论：若买衣服时商家不小心把钱退回来了，买家不退还，商家是有权通过法律途径起诉买家的，买家可能面临法律责任。
分析如下：
法律关系基础：
- 在货物买卖合同中，买家支付货款是合同义务之一，商家交付货物是对应的合同权利。若商家因操作失误多退了款项，这实际上构成了商家对买家的不当得利请求权的基础。不当得利是指一方在没有合法依据的情况下获得利益，而另一方因此遭受损失的法律现象。
不当得利的法律后果：
- 根据《中华人民共和国民法典》的相关规定，得利人没有法律根据取得不当利益的，受损失的人可以请求得利人返还取得的利益。因此，商家有权要求买家返还多退的款项。
商家的法律救济途径：
- 如果买家拒绝返还，商家可以通过协商、调解、仲裁或诉讼等法律途径来维护自己的权益。其中，诉讼是最具强制力的方式，如果商家选择起诉，且法院认定买家确实构成了不当得利，那么买家将需要承担返还多退款项的法律责任。
买家的法律风险：
- 买家若不退还多收的款项，不仅可能面临商家的法律诉讼，还可能因此产生额外的诉讼费用、律师费用等经济损失。此外，如果买家被法院判决返还多收款项而拒不执行，还可能面临强制执行、信用记录受损等更严重的法律后果。
建议：
- 主动沟通：如果买家发现自己收到了商家多退的款项，建议主动与商家沟通，说明情况并协商解决方案。这不仅可以避免不必要的法律纠纷，还可以维护良好的商业信誉。
- 遵守法律：在任何情况下，都应遵守法律法规，尊重他人的合法权益。对于商家多退的款项，买家应予以返还，以维护公平、正义的法律秩序。
后续行动指导：
- 如果买家已经收到了商家的退款通知或要求返还多退款项的请求，应尽快核实情况并作出回应。
- 如果买家对商家的退款请求有异议或认为存在其他情况（如商品质量问题、商家违约等），可以与商家协商解决或寻求法律援助。
总之，作为买家，在收到商家多退的款项时，应秉持诚信原则，主动与商家沟通并返还多收款项，以避免不必要的法律纠纷和损失。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。