核心结论：您需要从法律责任主体认定、与邻居的沟通协商、应对可能的法律程序这几个方面来处理此事。以下是详细分析：
法律责任主体认定
- 工人与您的关系
- 如果工人是您直接雇佣的，与您形成的是劳务关系。根据《中华人民共和国民法典》第一千一百九十二条规定，个人之间形成劳务关系，提供劳务一方因劳务受到损害的，根据双方各自的过错承担相应的责任。在这种情况下，需要分析工人摔死的原因，比如是否是因为您提供的施工环境存在安全隐患（如脚手架搭建不稳固、施工现场缺乏必要的安全防护措施等），如果您存在过错，就要承担相应的赔偿责任；如果工人自身存在重大过错（如故意违反操作规程、醉酒施工等），可以减轻您的责任。
- 如果工人是通过包工头雇佣来为您盖房子的，工人与包工头形成劳务关系，您与包工头是承揽关系。一般来说，工人受伤或死亡的责任主要由包工头承担，但如果您在选任包工头时存在过错（比如明知包工头没有相应资质或者安全生产条件而选任），您也可能要承担一定的赔偿责任。
- 邻居的责任
- 邻居的后院并非施工场所，正常情况下邻居没有对工人施工安全的保障义务。但如果邻居的后院存在一些特殊情况，比如邻居故意在后院设置危险陷阱、障碍物等导致工人摔死，那么邻居可能需要承担相应的侵权责任。不过这种情况需要充分的证据来证明邻居的过错与工人死亡之间存在因果关系。
与邻居的沟通协商
- 及时沟通
- 在事件发生后，您应该第一时间与邻居取得联系，诚恳地向邻居说明情况，表达您对工人不幸离世的遗憾和对邻居可能受到困扰的歉意。避免因为沟通不及时或者态度不佳导致矛盾激化。
- 协商解决方案
- 与邻居协商如何共同应对可能出现的后续问题，比如如何处理工人的遗体、如何应对可能前来的死者家属等。如果邻居提出一些合理的要求，如希望您尽快清理施工现场、恢复后院原状等，在合理范围内您应该积极配合。
应对可能的法律程序
- 死者家属的索赔
- 死者家属很可能会向您（以及可能的责任主体如包工头）提出索赔要求。您需要收集相关证据，如施工合同、现场照片、证人证言等，以证明自己在事件中的过错程度。如果家属提出的索赔要求过高或者不合理，您可以通过法律途径解决，由法院根据双方的过错和实际情况来确定赔偿金额。
- 可能的诉讼
- 如果与邻居、死者家属之间无法通过协商解决问题，可能会面临诉讼。在诉讼过程中，您要积极应诉，提供有利于自己的证据和法律依据。如果您对法律程序不熟悉，可以寻求我的帮助，我会为您提供专业的法律指导，包括如何准备证据、如何进行答辩等。