结论：剩余80万是否归老板所有不能一概而论，需根据事故责任划分、保险合同约定、劳动关系性质及是否存在其他赔偿义务主体等因素综合判断。以下分情况说明：
1. 若司机被认定承担全部或主要责任，且保险赔偿已覆盖法定赔偿项目
- 保险赔偿范围：交强险及商业三者险通常覆盖死亡赔偿金、丧葬费、被扶养人生活费等法定项目。若120万已全额覆盖上述费用，剩余80万可能涉及以下情形：
- 雇主责任：根据《民法典》第1192条，若司机因执行工作任务造成他人损害，由用人单位（老板）承担侵权责任。但若司机存在故意或重大过失，老板赔偿后可向其追偿。此时，剩余80万若为老板自愿补偿或超出法定赔偿的部分，可能归老板所有，但需以书面协议明确性质。
- 保险免赔部分：若保险合同约定免赔额或特定情形不赔（如超载、无证驾驶），且该部分责任由老板承担，则剩余80万可能用于填补免赔缺口，而非直接归老板。
2. 若司机被认定承担次要责任或无责任
- 责任比例分担：剩余80万可能需按责任比例由多方分担。例如，若司机仅承担30%责任，则保险公司赔偿的120万可能已覆盖其责任份额，剩余80万中属于司机责任的部分（24万）可能由老板承担，其余部分（56万）可能由受害方自行承担或通过其他途径解决。
- 雇主连带责任：即使司机无责任，若车辆存在缺陷或老板未尽到安全管理义务，老板可能需承担补充责任，此时剩余80万的分配需结合具体过错程度。
3. 劳动关系与赔偿义务主体
- 劳动关系认定：若司机与老板构成劳动关系（如签订劳动合同、按月发放工资），则老板作为用人单位需承担工伤保险责任外的民事赔偿。此时，剩余80万可能涉及工伤保险基金与民事赔偿的差额填补，需根据《工伤保险条例》及地方规定处理。
- 劳务关系认定：若司机为老板提供临时劳务（如按次计费），则根据《民法典》第1192条，老板仅在过错范围内承担责任。剩余80万若因老板选任过失（如雇佣无资质司机）产生，则老板需承担相应份额。
4. 其他特殊情形
- 车辆所有权与使用利益：若车辆实际所有人与使用人分离（如挂靠经营），挂靠人（老板）与被挂靠单位可能承担连带责任，剩余80万的分配需结合挂靠协议约定。
- 刑事附带民事赔偿：若司机构成交通肇事罪，受害方可能提起刑事附带民事诉讼，此时赔偿范围可能超出保险限额，剩余80万需优先用于填补刑事赔偿缺口。
建议：
- 立即核查保险合同条款，确认赔偿范围及免责事由；
- 收集事故责任认定书、劳动关系证明等关键证据；
- 评估老板是否存在过错（如车辆维护不当、指令违规驾驶）；
- 协商或诉讼时，明确剩余80万的性质（补偿、赔偿或追偿款），避免混淆。
如有进一步细节（如事故责任比例、保险类型、劳动关系证明等），可直接向我咨询，我将结合具体证据提供针对性分析。