关于“规划区外的集体土地的违建归谁管”这一问题，其核心在于理解不同管理部门对于违法建筑的管辖权限。以下是对该问题的详细解答：
结论前置：规划区外的集体土地上的违建，其管理权限主要涉及乡、镇人民政府，自然资源主管部门，以及可能涉及的城市管理综合行政执法部门。具体由哪个部门管理，取决于违法建筑的具体情况和所在区域的具体规定。
乡、镇人民政府：
- 管理情形：在乡、村庄规划区内，若未依法取得乡村建设规划许可证或未按许可证规定进行建设，乡、镇人民政府有权进行管理和查处。
- 法律依据：《中华人民共和国城乡规划法》第六十五条明确规定了乡、镇人民政府对于此类违法行为的责令停止建设、限期改正以及逾期不改正的拆除权限。
自然资源主管部门：
- 管理情形：若违法建筑涉及非法占用土地，如未经批准或骗取批准非法占用土地进行建设，自然资源主管部门将负责查处。
- 法律依据：《中华人民共和国土地管理法》第七十七条赋予了县级以上人民政府自然资源主管部门对于非法占用土地的责令退还、限期拆除、没收建筑物以及罚款等处罚权限。
城市管理综合行政执法部门（如适用）：
- 管理情形：部分城市可能通过地方立法或行政授权，将原本由规划部门或土地管理部门行使的对违法建筑的行政处罚权等职能集中交由城市管理综合行政执法部门行使。
- 法律依据：这通常依据《中华人民共和国行政处罚法》的相关规定，以及地方的具体立法或行政授权文件。
综上所述，规划区外的集体土地上的违建管理是一个涉及多个部门、依据多部法律法规的复杂过程。具体由哪个部门管理，需要综合考虑违法建筑的具体位置、性质以及当地的具体规定。因此，若您发现违建行为或需了解相关处理问题，建议首先向当地乡、镇人民政府或自然资源主管部门咨询，以获取最准确、最权威的指导和帮助。