违法建筑并非一律都要拆除，而是需要根据具体情况和法律规定来判断。

首先，我们要明确什么是违法建筑。违法建筑通常指的是未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的建筑物、构筑物等。这类建筑可能违反了城乡规划、土地管理等相关法律法规。

对于违法建筑的处理，相关部门会依据《中华人民共和国土地管理法》、《中华人民共和国城乡规划法》等法律法规进行。处理方式主要包括以下几种：

1. 若违法建筑能够补办并取得相关许可证件，如建设工程规划许可证，则可以转变为合法建筑，避免被拆除。

2. 对于无法取得相关许可的违法建筑，相关部门会责令限期改造或拆除。这是为了维护城乡规划和公共利益。

3. 若当事人逾期未改造或拆除，经县级以上人民政府批准，相关部门可采取强制拆除措施。拆除前会进行公告并给予自行拆除期限。

然而，并非所有违法建筑都必须拆除。以下是一些可以不拆除的特殊情况及条件：

• 若违法建筑尚可采取改正措施消除对规划实施的影响，如通过补办手续、调整用途、部分拆除或改造等，则可以不被拆除。
• 对于因历史遗留问题造成的违法建筑，若拆除会对当事人合法权益造成重大损失，且不拆除不影响公共利益和规划实施，可考虑通过登记备案、完善手续等方式处理。
• 部分或整体拆除会影响建筑物主体结构安全，或对相邻建筑构成威胁的违法建筑，也可能不被拆除。

综上所述，违法建筑的处理需综合考虑多种因素，包括违法程度、对规划和公共利益的影响、改正可能性以及历史遗留问题等。因此，不能一概而论地说违法建筑都必须拆除，而是需要根据具体情况和法律规定来判断。如果您有具体的法律问题或需要进一步的法律咨询，请直接向我提问。