结论前置：高空作业人员掉下来，责任主要由用人单位承担，但也可能涉及作业人员自身责任、第三方责任或存在免责情形。以下是对各种情况的详细分析：
用人单位责任
- 安全教育与培训缺失：根据《中华人民共和国安全生产法》第四十四条，用人单位有义务对作业人员进行充分的安全教育和培训，确保他们了解作业场所的危险因素、防范措施及应急措施。若因用人单位未履行此义务，导致作业人员缺乏安全意识或操作技能而坠落，用人单位需承担责任。
- 安全防护措施不到位：用人单位需提供符合标准的安全防护设备，并确保作业现场的安全设施齐全有效。若因安全防护措施不到位导致作业人员坠落，用人单位同样应承担主要责任。
作业人员自身责任
- 违规操作：若作业人员未遵循安全操作规程，如未系安全带、违规拆除安全防护装置等，导致坠落，则作业人员需承担一定责任。
- 故意行为：若作业人员出于故意，如因个人矛盾试图通过极端方式要挟或伤害他人而坠落，责任主要由其个人承担。
第三方责任
- 设备故障：若高空作业所使用的设备因质量问题或维护不当发生故障，导致作业人员坠落，设备的生产者、销售者或维护者可能需承担责任。
- 他人侵权：若作业人员的坠落是由于第三人的故意或过失行为导致的，该第三人需承担侵权责任。
责任免除与减轻情形
- 受害人故意致害：若能证明损害是因受害人故意造成的，用人单位不承担责任。
- 不可抗力：若能证明损害是因不可抗力造成的，如自然灾害等，用人单位同样不承担责任。
- 受害人过失：若受害人对损害的发生有重大过失，可以减轻用人单位的责任。
其他相关法律责任：
- 工伤责任：对于高空作业人员本身而言，若在工作时间和工作场所内因工作原因坠亡，应认定为工伤，其近亲属可享受工伤保险待遇。
- 刑事责任：若高空作业坠亡事故是由于违反安全生产规定或管理不当导致的，相关责任人员可能面临刑事责任的追究。
建议：
- 用人单位应加强安全教育与培训，完善安全防护措施，并关注从业人员的身心状况，做好相应疏导，以预防类似事故的发生。
- 作业人员应严格遵守安全操作规程，确保自身安全。
- 在事故发生后，应及时调查处理，明确责任归属，并依法保障各方权益。
若你遇到此类问题或有进一步的法律疑问，可以直接向我咨询，我会为你提供专业的法律意见。