集体土地上的违建应由县级以上地方人民政府自然资源主管部门来认定。具体分析如下：

一. 认定主体的法律依据

• 根据相关法律法规，对于集体土地上的建筑物是否构成违建，需要由具有相应职权的行政机关进行认定。
• 在我国，县级以上地方人民政府自然资源主管部门负责土地管理和监督，包括对集体土地上建筑物的合法性进行认定。

二. 认定流程

1. 调查与核实：自然资源主管部门会对涉嫌违建的建筑物进行调查，包括现场勘查、询问当事人、查阅相关资料等，以核实建筑物的实际情况。
2. 认定与告知：经过调查核实后，如果确认建筑物存在违法建设行为，自然资源主管部门会作出违建认定，并书面告知当事人。
3. 处理与执行：根据违建的具体情况，自然资源主管部门会依法作出处理决定，如责令限期拆除、罚款等。如果当事人不履行处理决定，行政机关有权依法强制执行。

三. 相关法条

• 虽然直接关于集体土地违建认定的具体法条未直接提及，但《中华人民共和国土地管理法》及其实施条例等法律法规赋予了县级以上地方人民政府自然资源主管部门对土地管理和监督的职权，这包括对集体土地上建筑物的合法性进行认定。

我建议，如果你面临集体土地违建的问题，应当积极配合自然资源主管部门的调查，并咨询专业律师以了解你的权利和义务，以便更好地维护你的合法权益。如有进一步需要，您可以继续咨询我。