集体土地上的违章建筑，其拆除责任主体主要根据具体情况来确定，一般包括乡、镇人民政府、县级以上地方人民政府城乡规划主管部门，以及在特定情况下可能涉及的城市管理综合行政执法部门和土地行政主管部门等。以下是对这一问题的详细分析：

一、主要责任主体及适用场景

1. 乡、镇人民政府

   • 法律依据：根据《中华人民共和国城乡规划法》第六十五条，在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。
   • 适用场景：这主要适用于农村集体土地上未经审批的农房、养殖棚等违章建筑。

2. 县级以上地方人民政府城乡规划主管部门

   • 法律依据：根据《中华人民共和国城乡规划法》第六十四条，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。
   • 适用场景：这主要适用于城市、镇规划区内，以及超出乡镇政府权限或涉及复杂规划问题的违章建筑。

3. 城市管理综合行政执法部门

   • 实施情况：部分城市通过立法或行政授权，将违章建筑的查处和拆除权赋予城管部门。在这些城市中，城管有权对违章建筑进行认定和拆除。
   • 注意事项：需核查当地是否出台相关授权文件，以确定城管部门是否具有拆除违章建筑的权力。

4. 土地行政主管部门

   • 法律依据：对于违反土地管理法律法规，非法占用土地新建建筑物的情况，由县级以上人民政府土地行政主管部门责令退还土地，限期拆除新建的建筑物和其他设施。
   • 适用场景：这主要适用于非法占用土地，如耕地建房等情形。

二、拆除程序与当事人义务

• 拆除程序：行政机关在作出责令限期拆除决定后，若当事人不遵守，县级以上地方人民政府可责成有关部门采取查封施工现场、强制拆除等措施。同时，根据《中华人民共和国行政强制法》的相关规定，对违法的建筑物、构筑物、设施等需要强制拆除的，应当由行政机关予以公告，限期当事人自行拆除。当事人在法定期限内不申请行政复议或者提起行政诉讼，又不拆除的，行政机关可以依法强制拆除。
• 当事人义务：从法律义务上讲，违章建筑的建设者或所有者有义务在行政机关责令限期拆除的期限内自行拆除。这不仅能避免可能的行政强制拆除带来的高额费用（有时由当事人承担），还能体现对法律的积极遵守。

三、特殊情况与法院介入

• 特殊情况：在某些复杂或争议较大的违章建筑拆除案件中，可能需要法院介入以作出最终裁决。例如，当行政机关作出责令限期拆除决定，且当事人在法定期限内既不申请行政复议也不提起行政诉讼，同时又不拆除的，行政机关可依法申请人民法院强制执行。
• 法院审查与执行：人民法院会审查相关材料，并根据情况作出是否准予执行的裁定。如裁定准予执行，可能会组织拆除工作或要求行政机关按裁定执行。

总结来看，集体土地上的违章建筑拆除工作是一个涉及多个部门和法律法规的综合性任务。在处理此类问题时，应明确具体情形，确定相应的拆除主体，并遵循相关法律法规的规定进行操作。如果您在处理此类问题时遇到任何疑问或需要进一步的法律帮助，请随时向我咨询。