这种行为是否违法，取决于你要回钱的方式和理由。如果你和女方有明确的约定，比如你误转了钱给她，或者她同意在某种条件下退还这笔钱，那么你后来要回钱的行为就不构成违法。但如果你没有正当理由，强行要求女方退钱，或者采用了威胁、恐吓等不法手段，那么就可能构成违法行为。

具体来说：

1. 有正当理由要回钱：

   • 如果你和女方之间存在明确的借款关系，或者你有证据证明这笔钱是误转给她的，那么你有权要求她退还这笔钱。
   • 如果女方在购买衣服时明确表示这是借款或者临时借用，并承诺会归还，那么你后来要回钱也是合理的。

2. 无正当理由强行要求退钱：

   • 如果你没有正当理由，只是单方面想要回这笔钱，那么强行要求女方退还就可能构成侵权行为，侵犯了她的财产权。
   • 如果采用了威胁、恐吓、骚扰等不法手段来要求退钱，还可能构成更严重的违法行为，如敲诈勒索、寻衅滋事等。

3. 法律建议：

   • 在处理这类纠纷时，建议双方保持冷静，通过协商来解决问题。
   • 如果协商不成，可以寻求法律援助或者通过法律途径来解决争议。
   • 在任何情况下，都不应该采用不法手段来维护自己的权益，这样只会适得其反。

总之，你的行为是否违法取决于你具体的行为方式和理由。如果你有正当理由并且采取了合法的方式来要回这笔钱，那么就不构成违法。如果你没有正当理由或者采用了不法手段，那么就可能面临法律责任。