无障碍环境建设主要由县级以上人民政府负责组织实施。具体分析如下：

一. 实施主体

1. 县级以上人民政府：根据《无障碍环境建设条例》第四条，县级以上人民政府负责组织编制无障碍环境建设发展规划并组织实施。这表明，无障碍环境建设的实施主体是县级以上人民政府。

二. 实施内容

1. 规划编制与实施：县级以上人民政府需要编制无障碍环境建设发展规划，并将其纳入国民经济和社会发展规划以及城乡规划。这一规划应当征求残疾人组织等社会组织的意见，确保无障碍环境建设符合实际需求。
2. 无障碍设施改造：对于城镇已建成的不符合无障碍设施工程建设标准的道路、公共建筑等，县级以上人民政府应当制定无障碍设施改造计划并组织实施，以确保这些设施能够满足残疾人的无障碍需求。

三. 责任与义务

1. 政府责任：政府作为无障碍环境建设的实施主体，有责任确保无障碍设施的建设和改造符合相关标准，并加强对无障碍环境的监督管理。
2. 维护管理：根据《无障碍环境建设条例》第三十三条，无障碍设施的所有权人或者管理人负责对无障碍设施进行保护和及时维修，确保其能够正常使用。若因未履行维护管理责任导致设施无法正常使用或造成损害，将承担相应的法律责任。

综上所述，无障碍环境建设的实施主体是县级以上人民政府，他们负责规划、组织、实施无障碍环境建设工作，并承担相应的责任和义务。如有进一步需要，您可以继续咨询我。