高空作业人员自己掉下来，责任的认定需根据具体情况判断，无法一概而论。以下从不同角度对责任认定进行分析：
用人单位责任
- 安全教育与培训缺失：根据《中华人民共和国安全生产法》第二十八条，用人单位有义务对作业人员进行充分的安全教育和培训，确保其具备必要的安全生产知识和操作技能。若用人单位未履行此义务，导致作业人员因缺乏安全意识或操作技能而坠落，用人单位需承担相应责任。
- 安全防护措施不到位：同样依据《中华人民共和国安全生产法》第四十一条，用人单位应提供符合标准的安全防护设备，并确保作业现场安全设施齐全有效。若因安全防护措施不到位导致作业人员坠落，用人单位应承担主要责任。例如，未提供安全带、安全网等防护设备，或者作业现场存在安全隐患未及时排除。
作业人员自身责任
- 违规操作：若作业人员未遵循安全操作规程，如未系安全带、违规拆除安全防护装置等，导致坠落，则作业人员需承担一定责任。根据《中华人民共和国民法典》第一千一百七十三条，被侵权人对同一损害的发生或者扩大有过错的，可以减轻侵权人的责任。在此情况下，作业人员的违规操作行为构成过错，应承担相应责任。
- 故意行为：若作业人员出于故意，如因个人矛盾试图通过极端方式要挟或伤害他人而坠落，责任主要由其个人承担。根据《中华人民共和国民法典》第一千一百七十四条，损害是因受害人故意造成的，行为人不承担责任。
第三方责任
- 设备故障：若高空作业所使用的设备因质量问题或维护不当发生故障，导致作业人员坠落，设备的生产者、销售者或维护者可能需承担责任。依据《中华人民共和国民法典》第一千二百零二条和第一千二百零三条，因产品存在缺陷造成他人损害的，生产者或销售者应承担侵权责任。
- 他人侵权：若作业人员的坠落是由于第三人的故意或过失行为导致的，如第三人故意破坏安全防护设备或误操作导致设备故障，该第三人需承担侵权责任。根据《中华人民共和国民法典》第一千一百六十五条，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。
责任免除与减轻情形
- 受害人故意致害：若能证明损害是因受害人故意造成的，如作业人员自杀或自伤行为导致的坠落，用人单位不承担责任。
- 不可抗力：若能证明损害是因不可抗力造成的，如地震、台风等自然灾害导致的坠落，用人单位同样不承担责任。
- 受害人过失：若受害人对损害的发生有重大过失，如作业人员明知存在安全隐患仍冒险作业，可以减轻用人单位的责任。
建议与措施：
- 用人单位：应加强安全教育与培训，完善安全防护措施，定期检查和维护作业设备，确保作业人员的安全。
- 作业人员：应严格遵守安全操作规程，正确佩戴和使用安全防护设备，增强安全意识，避免违规操作和故意行为。
- 相关部门：应加强监管力度，对高空作业进行定期检查和评估，确保作业安全。
后续行动建议：
- 若发生高空作业人员坠落事故，应立即停止作业，保护现场，并第一时间报警和联系急救人员。
- 事故发生后，应及时调查处理，明确责任归属，依法保障各方权益。如有需要，可寻求专业律师的帮助，进行法律咨询和诉讼代理。
如有进一步的法律问题或需要具体的法律建议，可以直接向我咨询。