违法建筑并不一定要拆除。对于违法建筑的处置，需根据具体情况和相关法律法规进行综合判断。以下从不同角度对这一问题进行详细分析：
一、违法建筑的处置方式并非只有拆除
根据《城乡规划法》的相关规定，对于未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的建筑，相关部门并非一律采取拆除措施。具体来说：
限期改正：如果违法建筑尚可采取改正措施消除对规划实施的影响，相关部门会责令限期改正，并处以建设工程造价百分之五以上百分之十以下的罚款。例如，房屋若属于正在建设的，可以先责令其停止建设，调查之后，若还属于可以改正的，且也没有影响城市规划或者乡村规划的，那么则可以责令限期当事人改正，并进行处罚。
限期拆除：对于无法采取改正措施消除影响的违法建筑，相关部门会责令限期拆除。这通常适用于那些擅自占用规划确定的公共设施用地、违反建筑间距等技术规范进行建设等严重影响规划实施的情形。
没收实物或违法收入：对于既无法采取改正措施消除影响，又无法拆除的违法建筑，相关部门会没收实物或者违法收入，并可以并处建设工程造价百分之十以下的罚款。
二、并非所有无审批手续的房屋都是违法建筑
造成违法建筑的因素多种多样，有的可能是因招商引资问题造成的，也有的可能是因历史遗留问题造成的。因此，不能仅凭房屋有无审批手续来判断其合法性。相关部门在认定违法建筑时，需要严格按照《行政处罚法》、《城乡规划法》等法律法规进行调查，综合考虑房屋的具体情况、历史背景等因素。
三、违法建筑处置中的法律程序与权益保护
立案调查：相关部门在发现违法建筑后，应当先对该房屋进行立案调查，了解房屋的具体情况，包括建设时间、用途、是否影响规划等。
行政处罚决定：在调查清楚房屋的具体情况后，相关部门才能依法作出相关的行政处罚决定。如果相关部门在没有调查弄清楚房屋具体情况的情况下，就一口咬定房屋是违法建筑并要全部拆除，这肯定是不合法的，侵害了当事人的合法权益。
陈述、申辩与听证：当事人对违法建筑的认定不服时，有权进行陈述、申辩，并可以要求听证。这是保障当事人合法权益的重要程序。
行政复议与行政诉讼：如果当事人对行政处罚决定不服，可以依法申请行政复议或者提起行政诉讼。这是维护当事人合法权益的最后一道防线。
四、特殊情况下的违法建筑处置
轻微违法行为：对于一些轻微违法行为，如超出宅基地面积建设但不影响土地利用规划和城乡规划实施的情形，当事人可以通过补办手续、接受罚款等方式使房屋合法化，而无需拆除。
历史遗留问题：对于历史遗留的一些违法建筑，在特定政策下可能不会被强制拆除。这需要根据具体政策进行判断和处理。
建议：面对违法建筑问题，当事人应积极配合相关部门的调查和处理工作，同时了解自己的合法权益和救济途径。如果认为相关部门的处置决定不合法或侵害了自己的合法权益，可以依法申请行政复议或提起行政诉讼。有问题可以直接向我咨询，我会为你提供专业的法律意见。