关于“是不是违建谁说了算”的问题，结论前置：违建的认定并非由单一主体决定，而是依据相关法律法规，由具有法定职权的行政机关进行认定，通常包括城乡规划部门、城市管理综合执法部门等。
一、违建认定的法律依据
违建，即违法建筑，是指违反城乡规划、土地管理等相关法律法规，未经规划许可或未按照规划许可内容建设的建筑物、构筑物。其认定的法律依据主要包括《中华人民共和国城乡规划法》、《中华人民共和国土地管理法》等。这些法律法规明确了违建的定义、认定标准以及处理程序。
二、违建认定的主体
城乡规划部门：城乡规划部门是违建认定的主要部门之一。他们负责城乡规划的制定、实施和监督，对于违反城乡规划的建筑物、构筑物，有权进行认定并出具认定意见。
城市管理综合执法部门：在城市管理领域，城市管理综合执法部门也承担着违建认定的职责。他们依据相关法律法规，对城市规划区内的违法建设行为进行查处，包括认定违建并作出相应的行政处罚。
其他相关部门：在某些特定情况下，如涉及土地管理、文物保护等领域的违建，可能还需要国土资源部门、文物部门等相关部门的参与和认定。
三、违建认定的程序
违建的认定通常遵循一定的程序，包括立案、调查取证、审查决定、送达告知等环节。行政机关在认定违建时，会依法进行调查取证，收集相关证据材料，如现场勘查记录、照片、规划图纸等。然后，根据收集到的证据材料，依据相关法律法规进行审查决定，出具违建认定意见。最后，将认定意见送达当事人，并告知其享有的权利和救济途径。
四、当事人对违建认定的救济途径
如果当事人对违建认定不服，可以依法申请行政复议或提起行政诉讼。行政复议是当事人认为行政机关的具体行政行为侵犯其合法权益时，向上一级行政机关或法定行政机关提出申请，由受理申请的行政机关对原具体行政行为依法进行审查并作出决定的活动。行政诉讼则是当事人认为行政机关的具体行政行为侵犯其合法权益时，向人民法院提起诉讼，由人民法院依法进行审理并作出判决的活动。
五、特殊情况下的违建认定
在某些特殊情况下，如历史遗留问题、政策调整等，违建的认定可能更加复杂。这时，行政机关会综合考虑多种因素，如建筑物的建设时间、用途、是否影响城乡规划等，进行谨慎认定。同时，当事人也可以积极提供相关证据材料，争取自己的合法权益。
总结来说，违建的认定是一个严谨的法律程序，需要由具有法定职权的行政机关依据相关法律法规进行。如果您对违建认定有疑问或需要进一步的法律帮助，请直接向我咨询。