结论：五楼扔衣服砸到人，即使被砸的人走了，扔衣服的人仍可能需要承担责任，具体责任情况需根据实际损害后果、过错程度等因素综合判断。
分析说明：
责任基础：
- 根据《中华人民共和国民法典》的相关规定，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。在此情况下，五楼扔衣服的行为，如果造成了楼下人员的损害，即使被砸的人当时离开了现场，扔衣服的人仍可能因过错而承担责任。
损害后果的认定：
- 损害后果是判断是否承担责任的重要因素。如果被砸的人虽然离开了现场，但后续出现了因被砸而产生的身体伤害或其他损失，且这些损失与扔衣服的行为有直接因果关系，那么扔衣服的人就需要承担相应的赔偿责任。
- 如果被砸的人并未受到实际损害，或者损害与扔衣服的行为无直接因果关系，那么扔衣服的人可能不需要承担责任。但这种情况较为少见，因为通常高空抛物即使未直接造成严重伤害，也可能因惊吓、恐慌等造成一定的精神损害。
过错程度的判断：
- 过错程度也是影响责任承担的重要因素。如果扔衣服的人是故意为之，或者存在重大过失（如明知楼下有人仍扔衣服），那么其承担的责任可能会更重。
- 如果扔衣服的人是无意的，且尽到了合理的注意义务（如未看到楼下有人、衣服较轻且不易造成伤害等），那么其承担的责任可能会相对较轻。
实际案例参考：
- 在实际案例中，高空抛物造成损害的，即使被砸的人当时未立即主张权利，后续仍可以通过法律途径追究扔物者的责任。法院会根据双方提供的证据，如现场监控、证人证言、医疗记录等，来综合判断扔物者的责任。
行动建议：
- 对于扔衣服的人：如果意识到自己的行为可能造成了损害，应主动与被砸的人联系，了解其情况并协商赔偿事宜。如果无法联系到被砸的人或对方拒绝协商，建议保留相关证据（如衣服、现场照片等）以备不时之需。
- 对于被砸的人：如果因被砸而受到损害，应及时就医并保留好医疗记录等证据。同时，可以尝试通过物业、警方等渠道联系扔衣服的人，要求其承担赔偿责任。如果无法联系到对方或对方拒绝赔偿，可以向法院提起诉讼来维护自己的合法权益。
特殊场景：
- 如果扔衣服的行为并未造成任何损害（如衣服较轻且未砸到人），那么通常不需要承担法律责任。但这种情况较为少见，且仍可能因惊吓等造成一定的精神损害，具体需根据实际情况判断。
法律依据：
- 《中华人民共和国民法典》第一千一百六十五条：行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。依照法律规定推定行为人有过错，其不能证明自己没有过错的，应当承担侵权责任。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询。