对方无权扣押你的货物来抵偿债务，这种行为是违法的。

在民间借贷关系中，即使你欠对方的钱，对方也不能直接扣押你的货物作为抵偿。因为货物的所有权属于你，对方无权擅自处理。如果对方这样做，你完全有权要求对方返还货物，并赔偿因此造成的损失。

从法律角度来看：

1. 物权保护：根据《民法典》的相关规定，物权受到法律保护，任何单位和个人不得侵犯。对方扣押你的货物，侵犯了你的物权，你可以依法要求返还。
2. 债务纠纷解决方式：对于债务纠纷，应当通过协商、调解、仲裁或诉讼等合法途径来解决，而不是采取扣押货物这种非法手段。

建议采取以下措施：

1. 与对方协商：首先尝试与对方进行沟通，明确告知对方扣押货物是违法的，要求对方立即返还。同时，可以协商债务偿还的方式和时间，以达成和解。
2. 报警或起诉：如果对方拒绝返还货物，你可以向当地公安机关报案，或者向法院提起诉讼，要求对方承担法律责任，并赔偿因此造成的损失。
3. 保留证据：在采取任何行动之前，务必保留好相关证据，如货物被扣押的照片、视频、聊天记录等，以便在后续的法律程序中作为证据使用。

总之，面对对方扣押货物的行为，你应当保持冷静，依法维护自己的合法权益。如果有任何疑问或需要进一步的法律帮助，请随时向我咨询。