规范性文件确实能作为认定违建的依据，但需结合具体情况和上位法规定来综合判断。以下从不同角度为你详细分析：
法律层面依据
《中华人民共和国城乡规划法》：
- 这是认定违建的核心法律。它明确规定，在城市、镇规划区内进行建筑物、构筑物等工程建设的，必须向相关部门申请办理建设工程规划许可证。未取得或未按照许可证规定进行建设的，即属于违法建设。这里的“相关规划要求”往往通过地方性法规、规章或规范性文件来具体细化，因此规范性文件在违建认定中扮演着重要角色。
《中华人民共和国土地管理法》：
- 该法严格规定了土地的用途管制。任何单位和个人进行建设需依法申请使用土地。未经批准或骗取批准非法占用土地的，特别是用于住宅建设的，将面临法律处罚。地方性法规、规章和规范性文件可能会根据本地实际情况，对土地使用和建设活动作出更具体的规定，这些规定同样可以作为违建认定的依据。
行政法规与部门规章层面依据
《村庄和集镇规划建设管理条例》：
- 该条例明确在村庄、集镇规划区内未按规划审批程序批准或违反规划进行建设的法律责任。对于严重影响规划的，县级人民政府建设行政主管部门可责令停止建设，并采取限期拆除、没收违法建筑等措施。这里的“规划审批程序”和“规划要求”往往通过地方性规范性文件来具体明确。
《城市规划编制办法》及相关实施细则：
- 虽然这些文件主要关注城市规划的编制内容、程序等，但它们也是城乡规划实施和违建认定的重要参考。如果建设行为违反了规划编制的原则和要求，即使没有直接违反上位法，也可能被认定为违建。而具体的规划编制原则和要求，往往通过地方性规范性文件来进一步细化和明确。
地方性法规与规范性文件层面依据
- 各地政府根据上位法制定的地方性法规、规章和规范性文件，结合本地实际情况，对城乡规划、土地管理等方面进行了具体细化。例如，对历史文化街区、风景名胜区等特定区域内的建设活动作出更细致的规定。这些地方性规定往往更加具体、更具操作性，因此在实际违建认定中发挥着重要作用。违反这些地方性规定进行的建设，同样会被认定为违建，并依据相关规定进行处理。
综合分析与应用建议
在处理违法建设问题时，应全面考虑上述法律依据，确保处理的合法性和合规性。具体来说：
- 核查建设项目是否取得了合法的规划许可和土地使用批准：这是认定违建的基础和前提。
- 根据相关法律法规判断建设行为是否符合规划要求和土地用途管制：这需要结合上位法和地方性规定来综合判断。
- 对违法建设行为依法进行查处：确保城乡规划和土地管理的有效实施。同时，也要关注地方性法规、规章和规范性文件的特殊规定，以确保处理的针对性和准确性。
温馨提示：如果你面临违建认定相关的问题，或者对某个具体建设项目的合法性有疑问，可以直接向我咨询。我会结合你的具体情况和当地法律法规，为你提供专业、全面的法律建议。