违建在特定条件下确实不能随意拆除，这些条件主要基于法律法规、政策精神以及公共利益的综合考量。以下是一些具体的法律规定和情形，说明违建在何种情况下不能随意拆除：
可改正以消除规划影响的违建：
- 根据《中华人民共和国城乡规划法》的相关规定，对于未取得建设工程规划许可证或未按许可证规定建设的建筑，如果通过整改（如补充审批手续、调整建筑布局）能够符合规划要求，消除不利影响，那么这类违建可以被责令限期改正并处以罚款，而不必拆除。例如，轻微超建的建筑物，通过补缴费用和完善手续，可以避免被拆除。
拆除将损害公共利益的违建：
- 当拆除违建会严重影响公共安全、公共服务设施运行等公共利益时，这类违建通常不会被拆除。比如，存放社区消防设备的简易建筑，虽然属于违建，但拆除它会影响消防安全，因此不会被轻易拆除。
部分超出但与整体不可分割的违建：
- 如果建筑物的部分结构符合规划许可，而超出部分与已获许可部分在结构上不可分割，且全部拆除会造成资源浪费且不影响整体规划，那么超出部分可以通过罚款处理而不被拆除。
存在历史遗留问题的违建：
- 因历史时期法律法规不完善、政策调整等原因未办理合法手续的违建，如果符合当时的实际情况和政策精神，并经过相关部门的认定，那么这类违建可以被保留。例如，城市发展初期搭建的简易房屋，可能因历史原因而未办理合法手续，但经过认定后可以被保留。
符合建设标准但手续不全的违建：
- 如果建筑在结构、安全等方面没有问题，仅因手续不全而被认定为违建，那么经过补办相关手续后，这类违建可以转为合法建筑，而不必被拆除。
因城市规划调整而性质变化的违建：
- 原本处于规划变更区域内的建筑，在规划调整后如果符合新规划要求，那么这类违建可以依法被认定为合法建筑，不再属于违建范畴。
影响主体结构安全的违建：
- 如果违章建筑的部分或整体拆除将危及建筑物或相邻建筑物的主体结构安全，那么这类违建通常不会被拆除。
现有技术条件无法拆除的违建：
- 对于某些特殊性建筑或因地理位置特殊而无法用现有技术拆除的违建，也可以不被拆除。
特别提示：
- 在处理违建问题时，应充分考虑法律、社会、经济等多方面因素，确保决策的合理性和公正性。
- 所有不拆除的决定均需基于当地法律法规、政策规定以及相关部门的认定和评估，不能一概而论。
- 如果您面临违建问题，建议先咨询相关部门或专业律师，了解具体情况和法律规定，再做出决策。
法律依据：
- 《中华人民共和国城乡规划法》第六十四条规定，对于未取得建设工程规划许可证或未按许可证规定建设的建筑，若尚可采取改正措施消除影响，则限期改正并处罚款。
- 《中华人民共和国消防法》第二十八条明确规定，任何单位、个人不得占用、堵塞、封闭疏散通道、安全出口、消防车通道，这也间接保护了某些位于关键位置的违建不被轻易拆除。
- 《中华人民共和国民法典》等相关法律法规也提供了处理违建问题的法律框架和原则。
如果您有具体的违建问题或需要进一步的法律帮助，请直接向我咨询，我会根据您的具体情况提供详细的法律建议。