关于建筑物的合法与违法，法院确实有权直接进行认定，且这种认定通常是有效的。以下从多个角度对此问题进行详细分析：

一、法院认定的法律依据

1. 行政诉讼中的合法性审查：

   • 在行政诉讼中，法院会对行政机关作出的具体行政行为（如认定建筑物为违法建筑）进行合法性审查。这包括审查行政机关是否具备相应的法定职权、是否遵循了法定程序、是否超越了法定权限以及是否滥用职权等。
   • 如果法院认为行政机关的认定行为合法，则会维持该认定；如果认为违法，则会撤销或变更该认定。

2. 民事诉讼中的事实认定：

   • 在民事诉讼中，如涉及建筑物权属纠纷、相邻关系纠纷等，法院也会根据相关证据和法律规定，对建筑物的合法性进行认定。
   • 这种认定是基于民事诉讼中的事实查明和法律适用原则，其结果对当事人具有法律约束力。

二、法院认定的效力

1. 对行政机关的约束：

   • 法院的生效判决对行政机关具有约束力。如果法院认定某建筑物为合法建筑，行政机关不得再以该建筑物违法为由进行处罚或拆除。
   • 反之，如果法院认定某建筑物为违法建筑，行政机关则有权依法进行处罚或拆除。

2. 对当事人的约束：

   • 法院的判决对当事人具有法律约束力。当事人必须履行法院判决所确定的义务，如停止违法行为、恢复原状、赔偿损失等。
   • 如果当事人不履行判决，法院可以采取强制执行措施。

三、不同情况下的认定

1. 有合法建设手续的建筑物：

   • 如果建筑物取得了合法的建设手续，如规划许可证、施工许可证等，且按照手续要求进行建设，那么该建筑物通常被认为是合法的。
   • 在这种情况下，法院会认定该建筑物为合法建筑，并保护当事人的合法权益。

2. 无合法建设手续的建筑物：

   • 如果建筑物未取得合法的建设手续，或者虽然取得了手续但未按照手续要求进行建设，那么该建筑物可能被认为是违法的。
   • 在这种情况下，法院会根据具体情况进行认定。如果建筑物确实违反了相关法律法规和规划要求，法院可能会认定其为违法建筑，并支持行政机关的处罚或拆除决定。

四、法律建议

1. 对于建筑物所有者：

   • 在建设建筑物前，务必确保取得合法的建设手续，并按照手续要求进行建设。
   • 如果建筑物被认定为违法建筑，应及时与行政机关沟通，了解具体原因和整改要求，并积极配合整改工作。
   • 如果对行政机关的认定有异议，可以依法提起行政诉讼或申请行政复议。

2. 对于相邻关系当事人：

   • 如果认为相邻建筑物的建设影响了自己的合法权益，可以依法向行政机关投诉或向法院提起诉讼。
   • 在诉讼过程中，应提供充分的证据证明相邻建筑物的违法性以及对自己造成的损害。

总结来说，法院对建筑物的合法与违法具有直接认定权，且这种认定通常是有效的。建筑物所有者和相邻关系当事人都应了解相关法律法规和程序要求，以便在必要时维护自己的合法权益。如果你有具体的法律问题或需要进一步的法律帮助，可以直接向我咨询。