自然灾害灾后重建应该由各级人民政府负责，具体由应急管理部门承担相关工作，其他有关部门按照各自职责做好配合。以下是详细分析：

一. 责任主体

1. 各级人民政府：根据《自然灾害救助条例》第三条，自然灾害救助工作实行各级人民政府行政领导负责制。这意味着，灾后重建作为自然灾害救助工作的一部分，也应由各级人民政府负责。
2. 应急管理部门：国务院应急管理部门负责全国的自然灾害救助工作，县级以上地方人民政府应急管理部门负责本行政区域的自然灾害救助工作，这自然包括了灾后重建的相关工作。

二. 具体执行

1. 国家减灾委员会：负责组织、领导全国的自然灾害救助工作，协调开展重大自然灾害救助活动，灾后重建作为其重要环节，也在其职责范围内。
2. 其他部门配合：国务院有关部门及县级以上地方人民政府有关部门，如自然资源、财政、农业农村、人力资源和社会保障等，按照各自职责做好全国或本行政区域的自然灾害救助相关工作，包括灾后重建的支援和配合。

三. 社会参与

• 根据《自然灾害救助条例》第五条，村民委员会、居民委员会以及红十字会、慈善会和公募基金会等社会组织，也可以依法协助人民政府开展自然灾害救助工作，包括灾后重建。

综上所述，自然灾害灾后重建主要由各级人民政府负责，具体工作由应急管理部门承担，并需要其他相关部门的配合以及社会组织的参与。如有进一步需要，您可以继续咨询我。