违法建筑物并不一定要拆除。针对这个问题，我们可以从以下几个方面进行详细分析：
一、法律对违法建筑物的处理规定
根据《中华人民共和国城乡规划法》第六十四条的规定，对于未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的建筑物，县级以上地方人民政府城乡规划主管部门会责令停止建设。如果该建筑物尚可采取改正措施消除对规划实施的影响，那么会限期改正，并处建设工程造价百分之五以上百分之十以下的罚款。只有在无法采取改正措施消除影响的情况下，才会限期拆除。如果建筑物不能拆除，那么会没收实物或者违法收入，并可以并处建设工程造价百分之十以下的罚款。
此外，《自然资源违法行为立案查处工作规程(试行)》也对“尚可采取改正措施”的情形进行了认定，包括取得建设工程规划许可证但未按其规定建设，在限期内采取局部拆除等整改措施能够使建设工程符合要求的；未取得建设工程规划许可证即开工建设，但已取得城乡规划主管部门的建设工程设计方案审核决定，且建设内容符合或采取局部拆除等整改措施后能够符合审核决定要求的；以及其他可以采取改正措施的情形。
二、违法建筑物的处理方式并非只有拆除一种
限期改正：对于可以采取改正措施消除对规划实施影响的建筑物，相关部门会责令限期改正，并进行相应的罚款。
限期拆除：对于无法采取改正措施消除影响的建筑物，相关部门会责令限期拆除。但需要注意的是，这并不是唯一的处理方式。
没收实物或违法收入：如果建筑物不能拆除，那么相关部门会没收实物或者违法收入，并可能处以罚款。
三、实践中对违法建筑物的处理
在实践中，相关部门在处理违法建筑物时，会先对该建筑物进行立案调查，了解其具体情况后，再依法作出相关的行政处罚决定。如果相关部门在没有调查弄清楚建筑物具体情况的情况下，就一口咬定建筑物是违法建筑并要全部拆除，这肯定是不合法的，也侵害了当事人的合法权益。
四、建议与提醒
及时咨询与沟通：如果您认为自己的建筑物可能存在违法问题，或者已经收到了相关部门的处理通知，建议您及时咨询专业律师，了解自己的权利和义务，并与相关部门进行沟通。
保留相关证据：在处理过程中，建议您保留好与建筑物相关的所有证据，包括建设手续、审批文件、设计图纸等，以便在需要时提供证明。
依法维权：如果认为相关部门的处理决定存在不当之处，您可以依法申请行政复议或者提起行政诉讼，维护自己的合法权益。
综上所述，违法建筑物并不一定要拆除，而是会根据具体情况采取不同的处理方式。如果您有任何法律问题或需要进一步的法律帮助，请随时向我咨询。