认定为违建并不一定必须拆除。其处理方式需依据具体情况及法定程序综合判断。以下是对此问题的详细分析：
一、违建的一般处理原则
应当拆除的情况：
- 若违建严重违反城乡规划，对规划实施产生重大影响，且无法通过改正措施消除影响，如私自在已规划的公共绿地上搭建永久性建筑，破坏城市规划布局和公共利益，则应当予以拆除。
- 未经规划许可或违反规划许可内容建设的建筑物、构筑物，若其存在影响公共安全、城市规划、环境卫生等多方面问题，为维护公共利益和社会秩序，也常要求拆除。
可以不拆除的情况：
- 改正后符合规划：若违建通过整改能符合城乡规划要求，可责令限期改正，并处以罚款。例如，建筑仅超出规划许可高度，拆除部分超建楼层后即可合规，则无需整体拆除。
- 历史遗留问题：对于历史遗留的违建，经相关部门认定和处理后，可能采取补办手续、罚款等措施，而不直接拆除。
- 影响建筑物安全：若拆除会影响建筑物主体结构安全，或影响相邻建筑物的安全，则可不拆除。
- 技术条件限制：因建筑特殊性或地理位置特殊，现有技术无法实施拆除的违建，也可不拆除。
- 公共利益考量：拆除可能对公共利益造成重大损害，或拆除后有严重后果的，如影响消防通道通行，危及居民生命财产安全，经综合评估后可能不拆除。
- 保障基本居住需求：若违建是当事人唯一住房且用于保障基本居住需求，能提供充分证据证明合法权益，经行政机关审查批准，也可能不予拆除。
二、法律依据
- 《中华人民共和国城乡规划法》第六十四条规定，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设。尚可采取改正措施消除对规划实施的影响的，限期改正，并处建设工程造价一定比例的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，并可以并处罚款。
- 《中华人民共和国土地管理法》第七十七条也规定了非法占用土地进行建设的处理措施，包括限期拆除、没收建筑物、罚款等。
三、拆除违建的程序要求
拆除违建必须遵循合法合规的程序，包括事先告知当事人、给予陈述和申辩的机会、依法作出拆除决定等。对于严重违建，将依法责令限期拆除；逾期不拆除的，由相关部门进行强制拆除。
综上所述，认定为违建并不一定必须拆除，而是需要根据具体情况和法定程序进行综合判断。如果您面临违建问题，建议及时咨询专业律师，以便更好地了解您的权益和可能的法律后果。