核心结论：

1. 一般情况下，不能仅因司机不听通知就卸货而直接拒付运费，但具体需根据合同约定和实际情况判断。
2. 若司机行为构成违约，您可依法主张权利，但运费支付与违约责任是两个独立法律问题。

详细分析：

一、运费支付与违约责任的关系

在运输合同中，运费的支付通常是基于运输服务的完成，而非完全取决于卸货的具体时间或方式。除非合同中明确约定了卸货时间、方式作为运费支付的条件，否则，司机不听通知就卸货的行为，虽然可能构成违约，但并不直接导致您有权拒付运费。

二、司机行为的法律性质

1. 违约行为：如果合同中明确规定了卸货的时间、方式等条款，而司机未按照约定执行，那么司机的行为就构成了违约。您有权根据合同约定或法律规定，要求司机承担违约责任，如赔偿损失等。
2. 侵权行为：如果司机的卸货行为给您造成了其他损失（如货物损坏、场地污染等），且该行为超出了运输合同的范畴，那么司机的行为还可能构成侵权。您有权要求司机承担侵权责任，赔偿您的实际损失。

三、您的权利与义务

1. 支付运费：根据运输合同的约定，您有义务支付运费。除非合同中有明确约定，否则不能因司机的不当行为而拒付运费。
2. 主张权利：如果司机行为构成违约或侵权，您有权依法主张权利，要求司机承担相应的法律责任。这包括但不限于要求司机赔偿损失、继续履行合同（如重新卸货）等。

四、建议措施

1. 沟通协商：首先，您可以尝试与司机或运输公司进行沟通协商，说明情况并要求其按照合同约定执行。如果司机或运输公司愿意改正错误并承担相应责任，那么问题可能得到妥善解决。
2. 固定证据：如果沟通协商无果，您应尽快固定相关证据，如运输合同、卸货现场的照片或视频、与司机的沟通记录等。这些证据将有助于您在后续的法律程序中维护自己的权益。
3. 法律途径：根据证据情况，您可以考虑通过法律途径解决纠纷。这包括但不限于向法院提起诉讼、申请仲裁等。在法律程序中，您需要充分阐述自己的诉求和理由，并提供充分的证据支持。

五、注意事项

1. 遵守合同约定：在处理此类纠纷时，您应首先遵守运输合同的约定。如果合同中有明确规定，那么应按照合同约定执行。
2. 理性维权：在维权过程中，您应保持理性态度，避免采取过激行为或言语攻击等不当方式。这有助于维护您的形象并促进问题的妥善解决。

总结：

虽然司机不听通知就卸货的行为可能构成违约或侵权，但您不能因此直接拒付运费。您应首先遵守运输合同的约定支付运费，并通过沟通协商、固定证据、法律途径等方式来维护自己的权益。如果您在处理此类纠纷时遇到任何问题或需要进一步的法律帮助，请随时向我咨询。