结论：工人在卸完鱼下车看手机时不小心摔倒，老板是否全责不能一概而论，需根据具体情况来判断。
分析角度一：老板的责任范围
工作环境与设施安全：
- 老板有责任提供一个安全的工作环境，包括确保工作场所的设施、设备符合安全标准，以及采取必要的安全措施来预防事故的发生。
- 如果梯子存在安全隐患，如不稳固、损坏或放置不当，且老板未采取合理措施进行修复或警示，那么老板可能需要承担一定的责任。
安全教育与培训：
- 老板应提供必要的安全教育和培训，使工人了解工作场所的安全规定和操作程序。
- 如果老板未履行这一义务，导致工人因缺乏安全意识而摔倒，老板也可能需要承担责任。
分析角度二：工人的自身责任
个人行为安全：
- 工人有责任遵守工作场所的安全规定，采取合理的安全措施来保护自己。
- 如果工人因看手机而分散注意力，未注意周围环境，导致摔倒，那么工人自身也需要承担一定的责任。
对工作环境的熟悉程度：
- 工人应对工作环境有一定的了解，包括知道哪些区域可能存在危险，以及如何避免这些危险。
- 如果工人对工作环境不熟悉，且未采取必要的预防措施，也可能对摔倒事故负有一定责任。
分析角度三：具体情境下的责任划分
- 在实际情况下，责任的划分可能更加复杂。例如，如果梯子是因为其他工人的不当使用而损坏，且老板不知情，那么责任可能不完全在老板。
- 另外，如果工人摔倒时受到了其他外部因素的干扰（如突然的风、其他工人的碰撞等），这些因素也可能影响责任的划分。
法律建议：
- 在此类事故中，建议首先收集相关证据，如现场照片、证人证言、医疗记录等，以便后续进行责任认定。
- 如果工人认为老板应承担全部或部分责任，可以尝试与老板进行协商解决。如果协商无果，可以考虑通过法律途径来维护自己的权益。
- 在处理此类纠纷时，建议咨询专业律师（如我，姜明坤律师，专注于经济纠纷、劳动纠纷领域），以便获得更具体、更专业的法律建议。
可能后果：
- 如果老板被认定承担全部或部分责任，他可能需要支付工人的医疗费用、误工费、伤残赔偿金等。
- 如果工人自身也存在责任，那么他可能需要自行承担一部分损失。
总之，老板是否全责需根据具体情况来判断，包括工作环境的安全性、老板的安全教育与培训义务、工人的个人行为安全以及对工作环境的熟悉程度等因素。在处理此类纠纷时，建议收集相关证据并咨询专业律师。