在司机到达指定位置却不装货的情况下，损失的承担需根据具体情形来判断，一般可能由司机、托运人或双方共同承担。以下从不同角度进行分析：
司机责任角度：
- 如果司机无正当理由拒绝装货，比如因个人原因、与托运人存在矛盾等，且这种拒绝装货的行为违反了双方之间的运输合同或相关约定，那么司机应当承担由此给托运人造成的损失。这些损失可能包括但不限于货物因延迟运输而产生的额外费用、因错过销售时机而减少的收入等。
- 法律依据：根据《中华人民共和国民法典》中关于合同违约责任的规定，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。
托运人责任角度：
- 如果托运人存在过错，如未按照约定时间、地点提供货物，或者提供的货物与合同约定不符，导致司机拒绝装货，那么托运人应当自行承担由此产生的损失。例如，托运人未按时将货物送达装货地点，司机因此无法按时装货并运输，若因此导致货物延误或损失，托运人应负责。
- 特殊情况：若托运人能证明司机拒绝装货的行为与托运人提供的货物或条件无直接关联，而是司机单方面违约，则托运人可要求司机承担损失。
双方共同责任角度：
- 在某些情况下，司机和托运人可能都存在一定的过错。比如，托运人提供的货物存在轻微瑕疵，但并不足以导致司机拒绝装货，而司机却以此为由拒绝装货。或者，司机因个人原因想要拒绝装货，但托运人也存在一些不合理的行为（如态度恶劣、未提前沟通等）激化了矛盾。在这种情况下，双方可能需要根据各自的过错程度来分担损失。
- 处理原则：根据《中华人民共和国民法典》中关于过错责任原则的规定，当事人双方都违反合同的，应当各自承担相应的责任。当事人一方因另一方违反合同受到损失的，应当及时采取措施防止损失的扩大；没有及时采取措施致使损失扩大的，无权就扩大的损失要求赔偿。
建议：
- 对于托运人而言，在签订运输合同时，应明确约定装货时间、地点、货物规格等关键条款，并约定违约责任和赔偿方式。在司机拒绝装货时，应及时收集证据（如现场照片、视频、沟通记录等），以便在后续维权中提供有力支持。
- 对于司机而言，应严格遵守运输合同和相关约定，无正当理由不得拒绝装货。若因特殊原因需要拒绝装货，应及时与托运人沟通并说明原因，尽量协商解决。
后续行动：
- 若双方无法就损失承担问题达成一致意见，可以考虑通过调解、仲裁或诉讼等法律途径来解决争议。
- 在处理此类纠纷时，建议咨询专业律师以获取更具体的法律建议和帮助。
如有任何疑问或需要进一步的法律咨询，请直接向我提问。