结论：未经对方同意，私自去服装厂老板家搬衣服抵货款的行为是违法的，可能涉及侵占他人财物或非法侵入他人住宅等违法行为。

详细分析：

1. 侵占他人财物：

   • 根据《中华人民共和国刑法》的相关规定，侵占罪是指以非法占有为目的，将他人的交给自己保管的财物、遗忘物或者埋藏物非法占为己有，数额较大，拒不交还的行为。虽然在此情况下，您并非直接保管服装厂老板的财物，但未经对方同意，私自搬走其财物，同样可能构成对他人财物的非法占有。
   • 即便您认为这是为了抵偿货款，但法律上并不认可这种私力救济的方式。货款纠纷应当通过合法途径解决，如协商、调解、仲裁或诉讼等，而非通过私自搬走对方财物的方式。

2. 非法侵入他人住宅：

   • 如果您未经服装厂老板的同意，擅自进入其住宅搬走衣物，还可能构成非法侵入他人住宅罪。根据《中华人民共和国刑法》的规定，非法侵入他人住宅的，处三年以下有期徒刑或者拘役。
   • 住宅是公民的私人生活空间，受到法律的严格保护。未经允许，任何人不得擅自侵入。

3. 合法解决途径：

   • 面对货款纠纷，您应当首先尝试与服装厂老板进行协商，寻求和解或达成还款协议。
   • 如果协商无果，您可以考虑通过调解、仲裁或诉讼等合法途径来维护自己的权益。这些途径虽然可能需要一定的时间和成本，但它们是合法、有效且能够保障双方权益的方式。

建议：

• 避免私力救济：不要试图通过私自搬走对方财物的方式来解决货款纠纷，这只会让您陷入更大的法律风险。
• 寻求法律帮助：如果您对如何解决货款纠纷感到困惑或无助，建议咨询专业律师，了解您的法律权益和可行的解决方案。
• 保留证据：在解决货款纠纷的过程中，务必保留好相关证据，如合同、发货单、收货单、付款记录等，以便在需要时证明您的权益。

如有任何法律问题或需要进一步的法律帮助，请直接向我咨询。