结论：上班期间工人擅自爬到高处摔下来，责任归属需根据具体情况判断，可能涉及工人自身责任、用人单位责任或双方共同责任。以下从不同角度详细分析：

1. 工人自身责任：

   • 法律依据：根据《中华人民共和国民法典》第一千一百六十五条，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。若工人擅自爬到高处，且该行为违反了安全操作规程或公司规章制度，同时工人自身未尽到合理的安全注意义务，导致摔伤，那么工人自身应承担主要或全部责任。
   • 实际情况：例如，工人为了取高处物品，未使用公司提供的安全设备，也未告知同事或上级，擅自攀爬，结果摔伤。这种情况下，工人自身责任较大。

2. 用人单位责任：

   • 法律依据：根据《中华人民共和国劳动法》和《中华人民共和国安全生产法》，用人单位有义务为劳动者提供安全的工作环境，采取必要的安全措施，防止劳动者在劳动过程中受到伤害。若用人单位未提供足够的安全设备、未进行必要的安全培训、未设置明显的安全警示标志等，导致工人摔伤，那么用人单位应承担相应责任。
   • 实际情况：例如，公司明知高处作业存在风险，但未提供安全带、安全网等防护设备，也未对工人进行高处作业安全培训，结果工人摔伤。这种情况下，用人单位应承担主要责任。

3. 双方共同责任：

   • 法律依据：在实际情况中，往往存在工人自身存在一定过错，同时用人单位也存在安全管理漏洞的情况。此时，根据《中华人民共和国民法典》的相关规定，双方应根据各自的过错程度承担相应的责任。
   • 实际情况：例如，工人擅自爬到高处，但公司未提供足够的安全设备或未进行必要的安全提醒，导致工人摔伤。这种情况下，工人和用人单位都应承担一定责任，具体比例需根据实际情况判断。

建议：

• 对于工人而言，应严格遵守安全操作规程和公司规章制度，使用公司提供的安全设备，确保自身安全。若因工作需要高处作业，应提前告知同事或上级，并寻求必要的帮助和支持。
• 对于用人单位而言，应加强安全管理，提供足够的安全设备和防护措施，对工人进行必要的安全培训和教育，设置明显的安全警示标志，确保工作环境安全。
• 若发生摔伤事故，双方应积极协商处理，必要时可寻求法律援助或通过法律途径解决纠纷。

进一步思考：

• 在处理此类纠纷时，应充分考虑事故发生的具体原因、双方的行为表现、安全管理制度的完善程度等因素，以公平、合理地确定责任归属。
• 用人单位应定期对工作环境进行安全检查，及时发现并消除安全隐患，防止类似事故再次发生。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。