法院不会在没有事实依据和法律依据的情况下，随意认定为违建。以下是对这一问题的详细分析：

一、违建认定的法律依据

违建，即违法建筑，通常指的是违反国家法律法规，未经规划、建设等部门批准，擅自搭建的建筑物或构筑物。根据《中华人民共和国城乡规划法》等相关法律法规，对于违建的认定，必须基于明确的事实依据和法律依据。法院在审理涉及违建的案件时，会严格审查相关证据，包括规划许可证、建设许可证等审批文件，以及现场勘查记录、照片等，确保认定的准确性和合法性。

二、法院认定违建的程序

1. 立案审查：法院在受理涉及违建的案件时，会首先对案件进行立案审查，确认案件是否属于法院的管辖范围，以及原告是否具备起诉资格等。
2. 证据收集与审查：在立案后，法院会组织双方当事人进行证据交换和质证，对双方提供的证据进行审查。对于涉及违建的认定，法院会重点审查相关审批文件、现场勘查记录等证据。
3. 现场勘查与鉴定：在必要时，法院会组织现场勘查，对建筑物的结构、用途、建设时间等进行详细了解。同时，法院也可能委托专业的鉴定机构对建筑物进行鉴定，以确定其是否属于违建。
4. 作出判决：在综合审查所有证据后，法院会根据事实和法律，作出是否认定为违建的判决。如果认定为违建，法院还会根据具体情况，判决拆除、罚款等相应的法律责任。

三、法院认定违建的注意事项

1. 事实依据充分：法院在认定违建时，必须确保事实依据充分，不能仅凭主观臆断或猜测。所有认定的事实都必须有相应的证据支持。
2. 法律依据明确：法院在认定违建时，必须依据明确的法律法规进行。对于法律法规没有明确规定的情况，法院会结合案件实际情况，参照相关司法解释或判例进行认定。
3. 程序合法合规：法院在认定违建的过程中，必须严格遵守法定程序，确保当事人的合法权益得到保障。例如，在现场勘查时，必须通知双方当事人到场；在作出判决前，必须给予当事人充分的陈述和申辩机会等。

四、可能存在的误区与纠正

有些人可能认为，只要建筑物看起来“不合规”或“不美观”，就可以被认定为违建。然而，这种看法是片面的。违建的认定必须基于明确的事实依据和法律依据，不能仅凭外观或主观感受进行判断。例如，有些建筑物可能由于历史原因或特殊情况，虽然外观上看起来“不合规”，但实际上已经取得了相关的审批文件或符合当地的规划要求，因此不能被认定为违建。

如果您对违建认定或相关法律问题有任何疑问，可以直接向我咨询。我会根据您的具体情况，提供专业的法律意见和帮助。