认定违法建筑确实可能损害公共利益，但并非所有违法建筑都直接等同于损害公共利益，需结合具体情况判断。以下从多个角度进行分析：

一、违法建筑的定义与核心特征

违法建筑指未取得建设工程规划许可证或违反许可规定擅自建造的建筑物、构筑物。其核心特征包括：

1. 无证建设：未获得规划部门审批；
2. 违规建设：未按许可内容（如面积、高度、用途）施工；
3. 可能侵占公共利益：这是违法建筑可能损害公共利益的关键点，但并非所有违法建筑都必然侵占公共利益，需具体分析。

二、违法建筑损害公共利益的常见情形

1. 妨碍交通：如违法建筑占用道路、消防通道等，影响车辆和行人通行，甚至可能引发交通事故。
2. 影响消防安全：违法建筑可能堵塞消防通道、遮挡消防设施，增加火灾风险，威胁公共安全。
3. 破坏环境：违法建筑可能破坏自然景观、生态环境，如非法占用绿地、林地等，影响生态平衡。
4. 影响城市规划：违法建筑可能破坏城市规划的整体性和协调性，影响城市形象和功能布局。

三、违法建筑认定与公共利益的关系

1. 认定标准：根据《城乡规划法》等相关法律法规，违法建筑的认定需综合考虑建筑物的建设是否符合规划要求、是否侵占公共利益等因素。因此，在认定过程中，公共利益是一个重要的考量因素。
2. 认定程序：违法建筑的认定需经过严格的调查取证、审核认定等程序，确保认定结果的准确性和公正性。在认定过程中，相关部门会充分考虑建筑物的实际情况、对公共利益的影响等因素。
3. 法律后果：对于被认定为违法建筑的建筑物，相关部门将依法采取责令限期拆除、罚款等措施。这些措施的实施旨在维护公共利益，确保城市规划的顺利实施和公共安全。

四、特殊情况下的违法建筑与公共利益

1. 历史遗留问题：部分因政策调整、历史原因等导致的“无证房屋”，可能并未直接侵占公共利益。对于这类建筑，需结合具体情况进行妥善处理，避免“一刀切”地认定为违法建筑并强制拆除。
2. 信赖保护原则：若因政府原因（如规划调整、政策变化等）导致无法办理许可，且建筑物并未直接侵占公共利益，需谨慎认定违法性。在这种情况下，应充分考虑当事人的合法权益和信赖利益。

五、法律建议

1. 对于建筑物所有者：在建设建筑物前，务必确保获得相关部门的审批和许可，避免违法建设。若已存在违法建筑，应积极配合相关部门的调查和处理工作，争取妥善解决。
2. 对于相关部门：在认定违法建筑时，应充分考虑建筑物的实际情况、对公共利益的影响等因素，确保认定结果的准确性和公正性。同时，应依法采取合理的处理措施，维护公共利益和当事人的合法权益。

总结来说，认定违法建筑确实可能损害公共利益，但并非所有违法建筑都直接等同于损害公共利益。在认定过程中，需综合考虑建筑物的实际情况、对公共利益的影响等因素，确保认定结果的准确性和公正性。若您有关于违法建筑或房屋产权方面的法律问题，可以直接向我咨询。