结论前置：
- 集体建设用地上面的违建主要由县级以上人民政府土地行政主管部门负责管理。
- 对于违建，政府将依法责令退还非法占地、限期拆除或没收，并可能处以罚款，甚至追究直接责任人员的行政或刑事责任。
详细分析：
在集体建设用地上，若存在未经合法审批或违反相关法律法规建造的建筑物、构筑物等，这些均被视为违章建筑。对于这类建筑的管理和处理，主要遵循以下原则和法律责任：
管理主体：
- 违章建筑的认定和处理主要由县级以上人民政府土地行政主管部门负责。这些部门具有对土地使用和建设活动的监管职责，能够依法对违章建筑进行查处。
违建类型：
- 未取得相关规划许可：包括未办理乡村建设规划许可证或违反规划许可内容建设的情况。
- 非法占用集体土地：未经批准擅自占地或超出批准面积占地进行建设的建筑。
- 不符合土地用途管制：如农用地非法转为建设用地或擅自改变建设用地用途的情况。
- 其他违章建筑类型：如自建房违规搭建、占有国有或集体土地违规建设以及拆迁征收范围内的违规建设等。
处理原则与法律责任：
- 责令退还非法占地：对于非法占用集体土地进行建设的行为，政府将责令退还非法占用的土地。
- 限期拆除或没收：对于违章建筑，政府将责令限期拆除；在特定情况下，如无法拆除或拆除后影响公共利益等，政府可能会选择没收违章建筑。
- 罚款：对于违章建筑的建设单位或个人，政府将依法处以罚款，罚款金额根据违章建筑的性质、面积、影响等因素确定。
- 行政或刑事责任：对于直接责任人员，政府将给予行政处分；若构成犯罪，如非法占用农用地罪等，还将依法追究刑事责任。
法律背景与建议：
- 法律背景：根据《城乡规划法》、《土地管理法》等相关法律法规，任何单位和个人进行建设都必须依法申请使用土地，并取得相应的规划许可。未经批准或违反批准内容进行建设的，均属于违法行为，将受到法律的制裁。
- 建议：在集体建设用地上进行建设时，务必严格遵守相关法律法规，确保建设的合法性和合规性。建议建设单位或个人在建设前咨询专业法律人士（如向我咨询），了解并遵循相关审批程序和规定，以避免因违法建设而承担不必要的法律责任和经济损失。
总结：
集体建设用地上面的违建主要由县级以上人民政府土地行政主管部门负责管理，对于违建将依法进行查处，包括责令退还非法占地、限期拆除或没收、罚款以及追究直接责任人员的行政或刑事责任。因此，在进行集体建设用地上的建设活动时，务必确保合法合规，避免违法建设带来的法律风险和经济损失。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。