外人到工地溜达坠楼死亡，赔偿责任的承担需根据具体情况来分析，主要涉及工地管理方、坠楼者自身以及可能存在的第三方责任。以下是对这一问题的详细分析：
工地管理方的责任：
- 安全保障义务：工地作为公共场所或特定活动区域，管理方有义务确保场所内的安全，防止因设施不完善、管理疏忽等原因导致他人受伤。如果工地存在安全隐患，如未设置警示标志、未采取防护措施等，且这些隐患与坠楼事故有直接因果关系，那么工地管理方可能需要承担相应的赔偿责任。
- 法律依据：根据《中华人民共和国民法典》第一千一百九十八条，宾馆、商场、银行、车站、机场、体育场馆、娱乐场所等经营场所、公共场所的经营者、管理者或者群众性活动的组织者，未尽到安全保障义务，造成他人损害的，应当承担侵权责任。虽然工地不完全等同于这些列举的场所，但工地管理方同样负有类似的安全保障义务。
坠楼者自身的责任：
- 自我保护意识：坠楼者作为成年人，应当具备基本的自我保护意识，避免进入危险区域或进行危险行为。如果坠楼者因自身疏忽或故意行为导致坠楼，那么其自身可能需要承担主要或全部责任。
- 特殊情况：如果坠楼者是未成年人或精神病人等无民事行为能力人或限制民事行为能力人，那么其监护人可能需要承担一定的监护责任。
第三方责任：
- 其他施工方或人员：如果坠楼事故是由工地内其他施工方或人员的过错行为导致的，如违规操作、故意推搡等，那么这些施工方或人员可能需要承担相应的赔偿责任。
- 设备或材料供应商：如果坠楼事故是由工地使用的设备或材料存在质量问题导致的，那么设备或材料的供应商也可能需要承担一定的责任。
在处理此类案件时，建议采取以下步骤：
- 收集证据：包括现场照片、视频、证人证言等，以证明事故发生的经过和原因。
- 报警并通知相关部门：及时报警并通知安监、住建等部门，以便他们进行调查和处理。
- 协商或诉讼：根据事故责任划分，与相关责任方进行协商赔偿事宜。如果协商不成，可以向法院提起诉讼，要求责任方承担相应的赔偿责任。
最后需要强调的是，每个案件的具体情况都有所不同，因此赔偿责任的具体划分也需要根据案件的具体事实和证据来确定。如果您或您身边的人遇到了类似的问题，可以直接向我咨询，我会根据您的具体情况提供详细的法律建议。