结论：司机在货物刚装对方不要的情况下直接卸货或拉走货物，是否违法需视具体情况而定。以下从不同角度进行分析：

1. 合同角度：

   • 合同约定：首先，需要查看货物买卖合同中是否有关于货物交付、验收、拒收以及货物处理的具体条款。如果合同中明确规定了在买方拒收货物时，卖方或运输方应如何处理货物，那么司机应遵循合同约定行事。若合同未明确规定，则需依据相关法律法规处理。
   • 违约责任：如果买方无正当理由拒收货物，可能构成违约。此时，卖方有权要求买方承担违约责任，包括但不限于赔偿损失、支付违约金等。但司机作为运输方，其直接拉走货物的行为可能并不直接构成对买方的违约，除非其行为违反了与卖方的运输合同或买方的明确指示。

2. 法律角度：

   • 货物所有权：在货物交付前，货物的所有权通常仍属于卖方。因此，如果司机未经卖方同意擅自拉走货物，可能构成对卖方财产权的侵犯。
   • 留置权：在某些情况下，如果司机因运输费用等问题与卖方或买方存在纠纷，且符合留置权的行使条件（如债务已到期、债权人占有债务人的动产等），司机可能依法享有留置权。但留置权的行使需严格遵循法律规定，不得擅自处分留置物。
   • 侵权责任：如果司机的行为导致货物损坏、丢失或给买方、卖方造成其他损失，司机可能需要承担侵权责任，赔偿相应损失。

3. 实际操作建议：

   • 沟通协商：在发生此类纠纷时，司机应首先与卖方和买方进行沟通协商，了解拒收货物的原因，并尝试达成一致的处理方案。
   • 遵循指示：司机应严格遵循卖方或买方的明确指示处理货物。如果指示不明确或存在争议，应及时寻求法律帮助或咨询相关部门。
   • 保留证据：司机在处理货物过程中应保留好相关证据，如运输合同、货物交接单、沟通记录等，以备不时之需。

特殊情况说明：

• 如果司机是受卖方委托运输货物，且卖方明确指示司机在买方拒收时将货物拉回或处理，那么司机的行为可能不构成违法。但即便如此，司机也应确保处理方式合法合规，避免给买方或卖方造成不必要的损失。
• 如果司机与卖方或买方之间存在其他纠纷或争议，应通过合法途径解决，如协商、调解、仲裁或诉讼等，而非擅自采取行动。

总结与建议： 司机在货物刚装对方不要的情况下直接卸货或拉走货物，是否违法需根据具体情况判断。为避免纠纷和损失，建议司机在处理此类情况时保持冷静、理性，遵循合同约定和法律规定，积极与卖方和买方沟通协商，并保留好相关证据。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。