司机卸错货主家货物，货主扣留司机或货物是违法的。以下从不同角度对此问题进行分析：
一、法律角度
物权保护：
- 根据《中华人民共和国民法典》的相关规定，物权受到法律保护，任何组织或者个人不得侵犯。司机虽然卸错了货物，但货物的所有权并未因此转移给货主。货主无权擅自扣留司机或货物，否则可能构成对司机财产权的侵犯。
侵权责任：
- 如果货主扣留司机或货物，导致司机遭受经济损失（如误工费、运输费损失等），货主可能需要承担侵权责任，赔偿司机的相应损失。
非法拘禁或扣押财物：
- 货主扣留司机的行为，如果达到一定程度（如限制司机人身自由），可能构成非法拘禁罪。同时，扣留货物的行为也可能构成对财物的非法扣押，违反相关法律法规。
二、实际操作角度
沟通协商：
- 在发现卸错货物后，司机和货主应首先进行沟通协商，明确责任归属和解决方案。货主可以要求司机承担相应的责任（如赔偿损失、重新运输等），但无权擅自扣留司机或货物。
寻求法律援助：
- 如果沟通协商无果，货主或司机可以寻求法律援助，通过法律途径解决纠纷。例如，货主可以起诉司机要求赔偿损失，司机也可以起诉货主要求返还被扣留的财物或赔偿误工费等。
三、建议与后果
对货主的建议：
- 货主在发现卸错货物后，应保持冷静，通过合法途径解决问题。可以要求司机承担相应的责任，但应避免采取过激行为（如扣留司机或货物），以免引发更大的法律纠纷。
对司机的建议：
- 司机在运输过程中应仔细核对货物信息，避免卸错货物。如果发生卸错货物的情况，应积极与货主沟通协商，承担相应的责任，并尽快解决问题。
可能的法律后果：
- 如果货主擅自扣留司机或货物，可能面临法律制裁，包括赔偿损失、承担侵权责任等。同时，司机的合法权益也可能受到侵害，需要通过法律途径进行维护。