若工人高空坠落且施工方不保留现场，施工方可能需承担多重责任。具体责任分析如下：
民事赔偿责任：
- 根据《中华人民共和国民法典》的相关规定，若施工方未能提供安全的工作环境或必要的防护措施，导致工人高空坠落受伤或死亡，施工方需承担民事赔偿责任。这种责任是基于过错责任原则，即如果施工方有过错（如未设置安全网、未进行安全培训等），则需对损害结果负责。
- 不保留现场可能加重施工方的责任。因为现场是查明事故原因、确定责任大小的重要依据。如果施工方故意或疏忽大意不保留现场，导致事故原因无法查清，法院可能会推定施工方存在过错，并据此判决其承担全部或主要赔偿责任。
行政责任：
- 施工方作为施工现场的管理者，有责任遵守安全生产法规和规范，确保施工安全。如果因不保留现场而违反相关规定，如未按规定报告事故、未采取必要措施防止事故扩大等，施工方可能面临行政部门的处罚，包括罚款、责令停工整顿、降低资质等级或吊销资质证书等。
可能涉及的刑事责任：
- 在极端情况下，如果施工方的不保留现场行为构成隐瞒事故真相、阻碍事故调查等犯罪行为，且该行为与高空坠落事故有直接关系，施工方相关人员可能会被追究刑事责任。具体量刑依据《中华人民共和国刑法》相关条款确定。
综上所述，施工方在工人高空坠落且不保留现场的情况下，可能需承担民事赔偿责任、行政责任以及可能的刑事责任。为避免这些责任，施工方应严格遵守安全生产法规和规范，确保施工安全，并在事故发生后及时保留现场、报告事故、配合调查。同时，建议施工方加强安全管理，提高员工安全意识，预防类似事故的发生。
如果您或您身边的人遇到了类似的问题，请直接向我咨询，我会根据您的具体情况提供专业的法律建议和帮助。