司机私自拖走货物的行为，在警察调解后归还，主要属于违约责任，同时也可能涉及侵权责任。

首先，从合同角度来看，司机作为承运人，有义务按照合同约定将货物安全运输到指定地点，并交付给托运人。如果司机在运输过程中，因未收到运费而私自拖走货物，这明显违反了运输合同的约定，构成了违约行为。托运人有权要求司机承担违约责任，包括返还货物、赔偿因货物延迟交付而导致的经济损失，以及支付违约金等。

其次，从侵权角度来看，司机私自拖走货物的行为，也可能侵犯了托运人对货物的所有权或占有权。如果司机的行为造成了托运人的财产损失，托运人还有权要求司机承担侵权责任，赔偿相应的损失。

不过，在实际操作中，由于警察已经介入并调解，司机也归还了货物，所以可能并不会直接涉及刑事责任。但托运人仍然有权根据合同约定或法律规定，向司机主张相应的民事责任。

综上所述，司机私自拖走货物的行为主要属于违约责任，并可能同时涉及侵权责任。托运人可以根据具体情况，选择向司机主张相应的民事责任，以维护自身的合法权益。如果你在这方面有进一步的法律问题，可以直接向我咨询。