结论：别人揪你衣服不让走，这一行为是否犯法，需根据具体情况来判断，但一般而言，该行为可能构成对人身自由权的侵犯，属于违法行为。
详细分析：
从人格权角度分析：
- 人身自由权是人格权的重要组成部分，它保障公民的身体自由不受非法拘禁、限制或剥夺。揪衣服不让走，实际上是对他人身体自由的一种限制，可能构成对人身自由权的侵犯。
- 根据《中华人民共和国民法典》的相关规定，自然人享有生命权、身体权、健康权、姓名权、肖像权、名誉权、荣誉权、隐私权、婚姻自主权等权利，同时也包括人身自由权。任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权，也不得以非法拘禁等方式剥夺、限制他人的行动自由。
从行为性质角度分析：
- 如果揪衣服的行为是出于恶意、报复或故意挑衅等目的，且造成了对方身体上的不适或精神上的困扰，那么该行为更有可能被认定为违法行为。
- 即便行为人没有明确的恶意，但如果其行为确实限制了他人的行动自由，且没有合理的理由或法律依据，那么该行为也可能构成违法。
从法律后果角度分析：
- 如果揪衣服的行为被认定为违法，行为人可能需要承担民事责任，如赔偿损失、赔礼道歉等。
- 在某些情况下，如果行为情节严重，如造成了对方身体伤害或精神损害等后果，行为人还可能面临行政处罚或刑事责任。
建议：
- 如果你遇到了别人揪你衣服不让走的情况，首先应保持冷静，尽量通过沟通解决问题。
- 如果沟通无果，且对方行为确实限制了你的行动自由或造成了其他损害，你可以考虑向公安机关报案或寻求法律援助。
- 在处理此类事件时，建议保留相关证据，如现场照片、视频、证人证言等，以便在需要时证明自己的权益。
特殊情况说明：
- 如果揪衣服的行为发生在特定的法律关系中，如合同纠纷、劳动纠纷等，且该行为与纠纷本身有直接关联，那么可能需要结合具体的法律关系来分析行为的合法性。
- 如果行为人具有特殊的身份或职责，如警察在执行公务时揪衣服，那么该行为的合法性可能需要根据具体的法律规定和执法程序来判断。
总之，别人揪你衣服不让走的行为是否犯法，需根据具体情况来判断。如果你遇到了此类情况，建议及时寻求法律帮助以维护自己的合法权益。有问题可以直接向我咨询。