非法建房的管理部门主要涉及自然资源部门和农业农村部门，具体职责划分如下：

1. 自然资源部门：

   • 职责：自然资源部门是负责土地管理和规划的主要部门。对于非法占用土地进行建房的行为，自然资源部门有权进行查处。这包括未经批准擅自占用土地建房、超过批准面积建房等违法行为。
   • 法律依据：根据《中华人民共和国土地管理法》的相关规定，非法占用土地建房的，由县级以上人民政府自然资源主管部门责令退还非法占用的土地，对违反土地利用总体规划擅自将农用地改为建设用地的，限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状。

2. 农业农村部门：

   • 职责：在农村地区，农业农村部门也承担着一定的管理职责。特别是对于农村宅基地的管理，农业农村部门有权对非法建房行为进行查处。这包括未经批准擅自占用宅基地建房、超过宅基地面积标准建房等违法行为。
   • 法律依据：虽然具体的法律依据可能因地区而异，但通常农业农村部门会依据地方性法规或规章，以及国家关于农村宅基地管理的相关政策，对非法建房行为进行查处。

在实际操作中，非法建房的管理还可能涉及以下方面：

• 乡镇政府：在农村地区，乡镇政府也承担着一定的土地管理和规划职责。对于非法建房行为，乡镇政府可能会配合自然资源部门或农业农村部门进行查处，或者根据地方性法规或规章直接进行查处。
• 综合执法部门：在一些地区，综合执法部门可能负责城市管理和规划方面的执法工作，包括非法建房的查处。这些部门通常具有跨部门的执法权限，能够更有效地打击非法建房行为。

针对非法建房行为的建议：

• 遵守法律法规：在建房前，务必了解并遵守相关的土地管理和规划法律法规，确保建房行为的合法性。
• 咨询相关部门：如果不确定建房行为是否合法，或者需要了解具体的建房规定和流程，可以咨询当地的自然资源部门、农业农村部门或乡镇政府等相关部门。
• 及时整改：如果已经存在非法建房行为，建议及时整改并补办相关手续，以避免面临更严重的法律后果。

若您遇到非法建房相关的问题或需要进一步的法律帮助，请直接向我咨询。我会根据您的具体情况，提供更详细和专业的法律建议。