集体土地上的违建，一般由当地的自然资源部门（原国土资源部门）和城市管理综合行政执法部门（或乡镇政府）负责管理。以下从不同角度为你详细分析：
管理部门职责
自然资源部门：
- 职责：自然资源部门主要负责土地资源的规划、管理、保护和合理利用。对于集体土地上的违建，自然资源部门有权进行调查、认定，并依法作出处理决定。
- 法律依据：根据《中华人民共和国土地管理法》的相关规定，未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府自然资源主管部门责令退还非法占用的土地，对违反土地利用总体规划擅自将农用地改为建设用地的，限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状。
城市管理综合行政执法部门（或乡镇政府）：
- 职责：在城市和乡镇规划区内，对于违反城乡规划的违建，城市管理综合行政执法部门（或乡镇政府）有权进行查处。这包括集体土地上的违建，如果其违反了城乡规划的相关规定。
- 法律依据：根据《中华人民共和国城乡规划法》的相关规定，在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。
特殊情况处理
- 历史遗留问题：对于一些历史遗留的违建，如果其形成有特定的历史背景和社会原因，相关部门在处理时可能会采取更为谨慎和灵活的态度。但这并不意味着违建可以合法化，而是在处理方式上可能更加注重社会稳定和民生保障。
- 多方协作：在实际操作中，对于集体土地上的违建处理，往往需要自然资源部门、城市管理综合行政执法部门（或乡镇政府）以及相关部门之间的协作和配合。例如，自然资源部门负责认定违建的性质和违法程度，城市管理综合行政执法部门（或乡镇政府）负责具体执行拆除等处罚措施。
法律建议
- 了解政策：在处理集体土地上的违建问题时，首先要了解当地的相关政策和规定，以便更好地维护自己的合法权益。
- 合法建设：在进行建设活动时，务必遵守相关法律法规和城乡规划要求，确保建设的合法性和合规性。
- 及时咨询：如果面临违建处理问题或对此有疑问，建议及时咨询专业律师或相关部门，以便获得更具体和准确的法律建议。
如果你有关于集体土地违建或其他房产问题的具体疑问，可以直接向我咨询，我会根据你的具体情况提供详细的法律解答和建议。