规范性文件确实可以作为责令拆除违建的依据，但具体是否拆除还需结合违建的性质、影响及地方性规定等多方面因素综合判断。以下从几个方面为你详细分析：

1. 法律法规的直接规定：

   • 根据《中华人民共和国城乡规划法》第六十四条，对于未取得建设工程规划许可证或未按其规定进行建设的行为，若无法采取改正措施消除对规划实施的影响，县级以上地方人民政府城乡规划主管部门有权责令限期拆除。这是法律法规对违建拆除的直接规定，也是规范性文件制定和执行的基础。

2. 规范性文件的细化与补充：

   • 除了法律法规的直接规定外，规范性文件（如部门规章、地方政府规章、规范性文件等）还可以对违建拆除的具体情形、程序、标准等进行细化和补充。例如，《关于规范城乡规划行政处罚裁量权的指导意见》就明确了“尚可采取改正措施消除对规划实施的影响的”和“无法采取改正措施消除影响应当限期拆除的”具体情形，为违建拆除提供了更具体的操作指南。

3. 地方性法规和政策文件的特殊规定：

   • 各地还可能根据实际情况出台一些地方性的法规和政策文件，对当地违建可不拆除或必须拆除的情形作出细化规定。这些地方性规定往往结合了当地的实际情况和特殊需求，因此在实际操作中具有更强的针对性和可操作性。例如，某些地区可能对历史遗留的违建、特定类型的违建（如临时建筑、简易房等）制定了特殊的处理规定。

4. 违建拆除的综合判断：

   • 在实际操作中，是否责令拆除违建并非一概而论，而是需要根据违建的性质、影响、是否可改正以及地方性规定等多方面因素进行综合判断。例如，如果违建对公共卫生、公共安全造成了危害，或者严重影响了城市风貌、他人合法建筑物的安全或使用，那么这些违建就可能面临被拆除的命运。

建议与总结：

• 如果你面临具体的违建问题，建议首先查阅相关的法律法规和规范性文件，了解违建拆除的具体规定和程序。
• 同时，也可以咨询当地的城乡规划主管部门或相关机构，获取更具体的指导和建议。
• 在处理违建问题时，务必保持谨慎和理性，避免因盲目行动而引发不必要的法律纠纷。

如果你有任何关于违建拆除或其他房产问题的疑问，都可以直接向我咨询，我会根据你的具体情况提供专业的法律意见。