工人装货时从货车上掉下来，责任的承担需依据具体情况分析：

1. 若工人受雇于货主：

   • 工人与货主构成雇佣关系。在从事雇佣活动过程中受伤，一般货主需承担相应责任。这是因为雇主对雇员在从事雇佣活动期间的人身安全负有保障义务。
   • 除非工人自身存在故意或重大过失，如违反安全操作规程、疏忽大意等，可减轻货主责任。

2. 若工人由专门劳务公司派遣：

   • 劳务公司与工人是劳动关系。劳务公司有义务为工人提供必要的劳动保护和安全培训。
   • 此时，劳务公司通常要承担主要责任。若货主对事故发生存在过错，如指示不当、提供的工作环境存在安全隐患等，也需分担部分责任。

3. 若工人与司机存在某种关联：

   • 比如司机指挥工人作业导致摔落，司机有过错的话，司机也要承担一定责任。

4. 若场地存在安全隐患：

   • 场地管理者对事故发生有过错，如未提供安全的工作环境或必要的安全措施，也应承担相应责任。

综上所述，确定责任主体关键在于分析各方与工人的关系、各方是否存在过错及过错程度等，综合判断责任承担比例。若各方就责任分担无法协商一致，可通过法律途径解决，由法院根据事实和法律规定进行判定。如有进一步的法律问题或需要详细的法律建议，请直接向我咨询。