设施农用地建设违法，一般不能直接用《城乡规划法》来认定其违法性。以下从不同角度对此问题进行详细分析：

一、法律适用范围

《城乡规划法》主要规范的是城乡规划区内进行的各项建设活动，确保这些活动符合城乡规划的要求。然而，设施农用地通常并不位于城乡规划确定的建设用地范围内，而是用于农业生产设施的建设。根据《城乡规划法》第四十二条的规定，城乡规划主管部门不得在城乡规划确定的建设用地范围以外作出规划许可。这意味着，设施农用地上的建筑依法本就无法取得规划许可证，因此，不能仅凭未取得规划许可证就认定其为违法建设。

二、行政机关的调查义务

在认定设施农用地上的建筑是否违法时，行政机关有义务对涉案建筑的土地情况进行调查核实，包括其是否位于设施农用地范围内，以及是否履行了设施农用地有关的审批手续。如果行政机关未进行充分的调查核实，仅以未取得规划许可为由认定建筑违法，那么这种认定可能因事实不清、证据不足而被撤销或确认违法。

三、具体案例分析

以北京高院的一个案例为例，再审申请人熊XX的涉案建筑所占土地类别用途为设施农用地。夏各庄镇政府在未调查涉案建筑土地情况，亦未就涉案建筑是否履行了设施农用地有关的审批手续进行调查核实的情况下，仅以涉案建筑未取得规划许可为由，认定涉案建筑全部为违法建设，并作出了强拆决定。然而，北京高院在再审中认为，夏各庄镇政府的这一认定显属事实不清、证据不足，因此驳回了熊XX的再审申请，但同时也确认了原终审判决中关于被诉强拆决定违法的结论。

四、法律建议

1. 对于设施农用地上的建设活动，建议建设者先了解并遵守相关土地管理和农业设施建设的法律法规，确保建设活动的合法性。
2. 如果面临行政机关的查处，建设者有权要求行政机关出示充分的证据和法律依据，并可以就行政机关的认定提出异议和申诉。
3. 在必要时，建设者可以寻求专业律师的帮助，通过法律途径维护自己的合法权益。

综上所述，设施农用地建设违法不能直接用《城乡规划法》来认定其违法性。在处理此类问题时，需要综合考虑法律适用范围、行政机关的调查义务以及具体案例的分析。如果您在设施农用地建设方面遇到法律问题，可以直接向我咨询，我将根据您的具体情况提供专业的法律建议。