破坏除耕地外的农用地，其管理职责确实主要归属于自然资源局，但具体情形可能因破坏方式和程度的不同而有所差异。以下是对此问题的详细分析：

一、自然资源局的管理职责

自然资源局作为负责自然资源管理和监督的政府部门，其职责范围广泛，包括土地、矿产、森林、草原、水等自然资源的保护和合理利用。在农用地管理方面，自然资源局主要负责农用地的规划、保护、监督和执法等工作。因此，对于破坏除耕地外的农用地（如林地、草地等）的行为，自然资源局通常具有相应的管理职责。

二、破坏农用地的具体情形及管理

1. 轻微破坏：如果破坏行为较为轻微，如未经批准在农用地上搭建简易设施、堆放杂物等，且未对农用地造成严重损害，这类行为通常由自然资源局进行监管和处罚。自然资源局会依据相关法律法规，对违法行为人进行警告、罚款等行政处罚，并要求其恢复农用地原状。

2. 严重破坏：如果破坏行为较为严重，如非法占用农用地进行非农业建设、挖沙、采石、采矿等，导致农用地严重毁坏或无法恢复原状，这类行为不仅违反了自然资源管理的相关法律法规，还可能构成犯罪。在这种情况下，自然资源局会依法进行查处，并将涉嫌犯罪的案件移送司法机关处理。同时，自然资源局还会与相关部门（如林业、草原等部门）进行协作，共同打击破坏农用地的违法行为。

三、其他相关部门的管理职责

虽然自然资源局在农用地管理方面承担主要职责，但其他相关部门也可能根据具体情况参与管理。例如：

• 林业部门：对于破坏林地的行为，林业部门可能依据《森林法》等相关法律法规进行监管和处罚。
• 草原部门：对于破坏草原的行为，草原部门可能依据《草原法》等相关法律法规进行监管和处罚。

四、法律建议

1. 遵守法律法规：任何单位和个人都应严格遵守国家关于农用地保护的法律法规，不得非法占用或破坏农用地。
2. 及时举报违法行为：如果发现有人非法占用或破坏农用地，应及时向自然资源局或其他相关部门举报，以便及时制止违法行为并保护农用地资源。
3. 寻求法律帮助：如果因农用地问题产生纠纷或需要法律帮助，可以直接向我咨询，我将根据具体情况提供专业的法律意见和帮助。

综上所述，破坏除耕地外的农用地，其管理职责主要归属于自然资源局。但具体情形可能因破坏方式和程度的不同而有所差异，其他相关部门也可能根据具体情况参与管理。因此，在处理此类问题时，应综合考虑多种因素并遵循相关法律法规的规定。