结论：工程没有验收中途退出后发生的自然灾害的责任归属，需根据具体情况判断，一般可能涉及原施工单位、新施工单位（如有）、建设单位等多方主体，具体责任需结合合同约定、法律规定及实际情况综合分析。以下从不同角度详细分析：
一、原施工单位中途退出的法律责任
合同解除或终止后的义务：
- 若原施工单位因合法原因（如建设单位违约、不可抗力等）中途退出，且已按照合同约定或法律规定完成了解除或终止合同的手续，那么其对于后续工程的质量、安全等责任通常应予以免除。
- 但若原施工单位退出时存在过错（如未按照合同约定完成部分工程、未妥善保管已完工部分等），则可能需对因其过错导致的损失承担责任。
自然灾害的不可抗力性：
- 自然灾害（如地震、洪水等）通常被视为不可抗力事件，即无法预见、无法避免且无法克服的客观情况。
- 若原施工单位已合法退出工程，且自然灾害发生在其退出之后，那么原施工单位通常无需对自然灾害造成的损失承担责任。
二、新施工单位（如有）的责任
接手后的工程责任：
- 若建设单位在原施工单位退出后，委托了新的施工单位继续施工，那么新施工单位应对其接手后的工程质量、安全等负责。
- 若自然灾害发生在新施工单位接手后，且新施工单位在施工中存在过错（如未采取合理防护措施等），则可能需对自然灾害造成的部分损失承担责任。
合同约定：
- 新施工单位与建设单位之间的合同中，可能对自然灾害等不可抗力事件的责任承担有明确约定。若合同中有相关条款，则应按照合同约定执行。
三、建设单位的责任
工程监管责任：
- 建设单位作为工程的发包方，对整个工程的质量、安全等负有监管责任。
- 若建设单位在原施工单位退出后，未及时委托新施工单位或未采取有效措施防止损失扩大，那么建设单位可能需对因其监管不力导致的损失承担责任。
合同约定与法律规定：
- 建设单位与原施工单位、新施工单位之间的合同中，可能对自然灾害等不可抗力事件的责任承担有明确约定。同时，相关法律法规也可能对此类情况的责任承担有规定。在判断建设单位责任时，应综合考虑合同约定和法律规定。
四、具体责任判断建议
审查合同条款：
- 仔细审查原施工单位、新施工单位与建设单位之间的合同条款，特别是关于不可抗力事件的责任承担条款。
分析实际情况：
- 结合自然灾害发生的具体时间、地点、影响范围以及各施工单位的施工情况、防护措施等实际情况，分析各方的过错程度和责任大小。
咨询专业意见：
- 在责任判断存在争议或复杂情况下，建议咨询专业律师或相关专家意见，以便更准确地判断责任归属。
后续行动建议：若您面临此类纠纷，建议首先收集相关证据材料（如合同、施工记录、自然灾害证明等），然后根据实际情况与对方协商解决或通过法律途径解决争议。如有需要，可直接向我咨询具体法律问题。