结论：货主拖着不给运费时，你不让卸货的行为是否违法，需视具体情况而定，不能一概而论为违法或合法。
一、从合同角度分析
在货物买卖合同中，通常会有关于运费支付和货物交付的明确条款。如果合同中明确规定了货主应在货物到达后一定时间内支付运费，而货主未履行此义务，那么货主的行为构成了违约。然而，这并不意味着你作为承运人或卖方就有权直接阻止卸货。
合同条款的约束：
- 若合同中有“货到付款，款到卸货”或类似明确条款，且货主未支付运费，你阻止卸货的行为可能被视为在行使合同中的权利，但需注意方式方法，避免造成不必要的损失或纠纷。
- 若合同中未明确规定运费支付与卸货之间的直接关系，你阻止卸货的行为可能缺乏合同依据，从而构成违约或侵权。
违约责任的承担：
- 即使货主违约未支付运费，你也应通过合法途径（如协商、诉讼等）来追讨运费，而非直接阻止卸货。直接阻止卸货可能导致你承担因延误交付而产生的违约责任。
二、从法律角度分析
留置权：
- 根据《民法典》的相关规定，在特定情况下（如债务人不履行到期债务），债权人可以留置已经合法占有的债务人的动产，并有权就该动产优先受偿。然而，在货物买卖合同中，除非合同明确约定或法律另有规定，否则承运人或卖方通常不享有对货物的留置权。
- 即使你享有留置权，也应依法行使，不得超过必要的限度，且应及时通知货主并给予其合理的履行期限。
侵权责任：
- 如果你无正当理由阻止卸货，导致货主遭受损失（如货物变质、市场价格波动等），你可能需要承担侵权责任，赔偿货主的损失。
三、建议与措施
协商解决：
- 首先尝试与货主进行协商，明确运费支付的时间和方式，争取达成和解。
法律途径：
- 若协商无果，你可以通过法律途径（如起诉、申请仲裁等）来追讨运费。在此过程中，应确保自己的行为符合法律规定，避免采取过激或违法的手段。
完善合同条款：
- 在未来的合同中，可以明确约定运费支付与卸货之间的关系，以及违约时的处理方式和责任承担，以减少类似纠纷的发生。
总结：货主拖着不给运费时，你不让卸货的行为是否违法需视具体情况而定。在处理此类纠纷时，应优先考虑通过合法途径来解决问题，避免采取过激或违法的手段。如果你有任何法律问题或需要进一步的法律建议，可以直接向我咨询。