结论：司机将货物拉回家并要求你们自行找车再拉的行为，是否违法需根据具体情况判断，可能涉及违约或侵权责任。以下从不同角度进行分析：
一、合同关系角度
若存在运输合同：
- 违约责任：司机与托运人（即你们）之间若存在明确的运输合同，合同中通常会规定货物的运输路线、时间、方式等。司机擅自改变运输路线，将货物拉回家，并要求你们自行找车再拉，这明显违反了合同约定。根据《民法典》的相关规定，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。因此，司机可能需要承担违约责任，包括赔偿你们因此产生的额外费用（如重新找车的费用、货物延误造成的损失等）。
若不存在运输合同：
- 无明确约定：如果双方没有签订书面运输合同，但口头约定了运输事宜，且司机接受了你们的货物并开始运输，那么双方之间实际上已经形成了事实上的运输合同关系。司机擅自改变运输路线的行为，同样可能构成违约，需要承担相应的责任。
- 无合同关系：如果双方既没有书面合同，也没有口头约定，且司机只是出于某种原因（如误拉、帮忙等）将货物拉回家，那么这种情况可能不构成违约。但司机仍然有义务将货物安全、及时地交付给你们，如果因此造成货物损失或延误，司机可能需要承担侵权责任。
二、侵权责任角度
- 货物所有权：无论双方是否存在合同关系，货物的所有权通常属于托运人（即你们）。司机擅自将货物拉回家，并拒绝交付或要求你们自行找车再拉，这实际上是对货物所有权的侵犯。根据《民法典》的相关规定，侵占他人财物的，应当返还财物，并赔偿因此造成的损失。因此，司机可能需要承担侵权责任，包括返还货物、赔偿损失等。
三、实际操作建议
与司机沟通：
- 首先，尝试与司机进行沟通，了解其擅自改变运输路线的原因和意图。如果司机是出于误解或疏忽而采取了不当行为，通过沟通可能能够解决问题，避免不必要的法律纠纷。
收集证据：
- 如果沟通无果，或者司机拒绝承担责任，那么你们需要开始收集证据以支持自己的主张。证据可以包括运输合同（如果有的话）、货物清单、运输过程中的照片或视频、与司机的沟通记录等。
寻求法律帮助：
- 如果证据充分且司机仍然拒绝承担责任，那么你们可以考虑寻求法律帮助。可以咨询专业律师（比如我），了解具体的法律程序和维权策略。在必要时，可以向法院提起诉讼或申请仲裁以维护自己的合法权益。
总结：司机将货物拉回家并要求你们自行找车再拉的行为是否违法，需根据具体情况判断。如果双方存在运输合同且司机违反了合同约定，或者司机侵犯了货物的所有权，那么司机可能需要承担违约责任或侵权责任。在处理此类纠纷时，建议先与司机沟通并收集证据，必要时寻求法律帮助。如有任何疑问或需要进一步的法律建议，请直接向我咨询。