违法建设并非在所有情况下都必须拆除，是否拆除需根据具体情况和相关法律法规进行综合判断。以下从不同角度进行分析：
一、违法建设的定义与性质
违法建设，通常指的是未经规划、建设等行政主管部门批准，或违反相关规划、建设规定而擅自进行的建筑物、构筑物或其他设施的建设。这类建设行为违反了国家关于城乡规划、建设管理的法律法规，因此被称为违法建设。
二、违法建设拆除的法律依据
《中华人民共和国城乡规划法》：该法第六十四条规定，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。
其他相关法律法规：如《土地管理法》、《建筑法》等，也对违法建设行为及其处理作出了相应规定。
三、违法建设是否必须拆除的考量因素
是否可采取改正措施：根据《城乡规划法》的规定，如果违法建设尚可采取改正措施消除对规划实施的影响，那么行政主管部门可以责令限期改正，并处以罚款，而不一定要求拆除。
拆除的可行性：如果违法建设无法采取改正措施消除影响，且拆除不会对公共利益造成重大损害，那么行政主管部门通常会责令限期拆除。然而，如果拆除违法建设会对公共利益造成重大损害，或者拆除后无法恢复原状，那么行政主管部门可能会考虑其他处理方式，如没收实物或违法收入，并处以罚款。
历史遗留问题：对于一些历史遗留的违法建设，如果其存在时间较长，且已经与周边环境形成了一定的和谐关系，那么行政主管部门在处理时可能会更加谨慎，考虑采取更为灵活的处理方式。
四、实际案例与操作建议
在实际操作中，行政主管部门会根据违法建设的具体情况、性质、影响程度以及相关法律法规的规定，进行综合判断，并作出相应的处理决定。因此，对于违法建设是否必须拆除的问题，不能一概而论。
如果您面临违法建设的问题，建议您：
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。