高空作业掉下去的责任归属需根据具体情况来确定，可能涉及作业人员自身、用人单位、第三方以及相关法律法规的规定。以下是对这一问题的详细分析：
作业人员自身责任
- 违规操作：若作业人员未遵循安全操作规程，如未系安全带、违规拆除安全防护装置等，导致坠落，则作业人员需承担一定责任。根据《中华人民共和国民法典》第一千一百七十三条，被侵权人对同一损害的发生或者扩大有过错的，可以减轻侵权人的责任。
- 故意行为：若作业人员出于故意，如因个人矛盾试图通过极端方式要挟或伤害他人而坠落，责任主要由其个人承担。根据《中华人民共和国民法典》第一千一百七十四条，损害是因受害人故意造成的，行为人不承担责任。
用人单位责任
- 安全教育与培训缺失：依据《中华人民共和国安全生产法》第四十四条，生产经营单位应当教育和督促从业人员严格执行本单位的安全生产规章制度和安全操作规程。若用人单位未履行上述职责，对作业人员进行充分的安全教育和培训，导致其缺乏必要的安全意识和操作技能而坠落，用人单位需承担责任。
- 安全防护措施不到位：若用人单位未提供符合标准的安全防护设备或未确保作业现场安全设施齐全有效，或者未关注从业人员的身体、心理状况和行为习惯，加强对从业人员的心理疏导、精神慰藉，严格落实岗位安全生产责任，防范从业人员行为异常导致事故发生，进而导致作业人员坠落，用人单位应承担主要责任。
第三方责任
- 设备故障：若高空作业所使用的设备因质量问题或维护不当发生故障导致作业人员坠落，设备的生产者、销售者或维护者可能需承担责任。根据《中华人民共和国民法典》第一千二百零二条、第一千二百零三条，因产品存在缺陷造成他人损害的，生产者应当承担侵权责任；因销售者的过错使产品存在缺陷，造成他人损害的，销售者应当承担侵权责任。
- 他人侵权：若作业人员的坠落是由于第三人的故意或过失行为导致的，该第三人需承担侵权责任。根据《中华人民共和国民法典》第一千一百六十五条，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。
责任免除与减轻情形
- 受害人故意致害：若能证明损害是因受害人故意造成的，用人单位不承担责任。
- 不可抗力：若能证明损害是因不可抗力造成的，用人单位同样不承担责任。
- 受害人过失：若受害人对损害的发生有重大过失，可以减轻用人单位的责任。
其他相关法律责任
- 工伤责任：对于高空作业人员本身而言，若在工作时间和工作场所内因工作原因坠亡，应认定为工伤，其近亲属可享受工伤保险待遇。根据《工伤保险条例》的相关规定，用人单位应当为职工缴纳工伤保险费，职工因工作遭受事故伤害或者患职业病进行治疗，享受工伤医疗待遇。
- 刑事责任：若高空作业坠亡事故是由于违反安全生产规定或管理不当导致的，相关责任人员可能面临刑事责任的追究。例如，根据《中华人民共和国刑法》的相关规定，在生产、作业中违反有关安全管理的规定，因而发生重大伤亡事故或者造成其他严重后果的，处三年以下有期徒刑或者拘役；情节特别恶劣的，处三年以上七年以下有期徒刑。
综合建议：
- 用人单位：应加强安全教育与培训，完善安全防护措施，关注从业人员身心状况并做好相应疏导，以预防类似事故的发生。
- 作业人员：应严格遵守安全操作规程，正确使用安全防护设备，确保自身安全。
- 相关部门：应加强监管，确保高空作业的安全进行，对违反安全生产规定的行为进行严厉处罚。
若您或您身边的人遭遇了高空作业坠落事故，建议及时收集证据并向我咨询，以便根据具体情况明确责任归属，依法保障各方权益。