货物破损的责任不一定算司机的。具体分析如下：

一. 责任判断依据

1. 承运人责任：根据《中华人民共和国民法典》第八百三十二条，承运人对运输过程中货物的毁损、灭失承担赔偿责任。这是基于承运人与托运人之间的运输合同关系，承运人负有保证货物安全送达的义务。
2. 免责事由：同样依据该法条，承运人能够证明货物的毁损、灭失是因不可抗力、货物本身的自然性质或者合理损耗以及托运人、收货人的过错造成的，则不承担赔偿责任。这意味着，如果货物破损并非由于司机的操作不当，而是由于上述原因导致的，司机（承运人）可以免责。

二. 实际情况分析

• 在本题中，司机没有操作货物，货物却破损了。这首先需要判断破损的原因。如果破损是由于不可抗力（如自然灾害）、货物本身的自然性质（如易碎品在运输中自然破裂）或者托运人、收货人的过错（如包装不善）导致的，那么司机不承担赔偿责任。
• 如果破损是由于司机的其他过失（如驾驶不当导致车辆颠簸造成货物破损）或者无法证明是上述免责事由导致的，那么司机作为承运人，应当承担赔偿责任。

三. 结论

• 因此，货物破损是否算司机的责任，取决于破损的具体原因。如果司机能够证明破损是由于免责事由导致的，那么他不承担赔偿责任；否则，他应当承担相应的赔偿责任。

我建议，在实际操作中，当货物在运输过程中破损时，应首先查明破损原因，并根据相关法律法规和合同约定来确定责任归属。如有进一步需要，您可以继续咨询我。