历史遗留的违建并非一定不用拆除，是否拆除需综合考虑其合法性、合理性以及实际情况，并严格遵循法定程序。以下是对此问题的详细分析：
一、合法性与合理性考量
合法性：
- 违建，无论新旧，都违反了城乡规划、土地管理等法律法规。理论上，有权机关（如城市管理部门、规划部门等）有权依法作出拆除决定。特别是那些未取得建设工程规划许可证或未按许可证规定建设的建筑，明确属于违建范畴。
- 然而，历史遗留的违建往往涉及复杂的成因和多方利益。在拆除时，需综合考量其形成的历史背景，特别是那些形成于特定历史时期，当时规划管理制度尚不健全或存在政府鼓励建设等特殊背景的建筑。
合理性：
- 一概拆除历史遗留违建可能显失公平。因此，在处理时，应综合考虑建筑的历史背景、社会影响及当事人权益等因素。
- 对于未对城市规划、公共安全或他人合法权益造成严重影响的历史遗留违建，可考虑采取更为灵活的处理方式，如补办手续、罚款等，而非直接拆除。
二、具体处理方式
补办手续保留：
- 对于符合当前规划要求、质量安全达标的历史遗留违建，经相关部门审核批准后，可通过补办手续等方式使其合法化，从而避免拆除。例如，一些老旧小区中的加建部分，如果经过评估认为对整体结构和安全无影响，且符合当前的城市规划要求，可以补办相关手续后予以保留。
罚款并保留：
- 对于某些轻微违法或可整改的历史遗留违建，可以采取罚款等处罚措施，并要求其限期整改。整改合格后，可以予以保留。这种方式既体现了法律的严肃性，又给予了当事人一定的改正机会。
没收或拆除：
- 对于严重影响城市规划、存在严重安全隐患或无法通过整改达到合法要求的历史遗留违建，应依法予以没收或拆除。例如，一些位于城市核心区域、严重影响城市景观和交通的违建，或者存在严重结构安全隐患的建筑，必须坚决予以拆除。
三、拆除程序与特殊考量
- 拆除程序：相关部门在作出拆除决定前，需进行详细调查，包括建造时间、用途等情况，并收集充分证据。同时，应依法告知当事人相关权利，并组织听证以保障其陈述权、申辩权等。基于调查和听证结果，依据法律法规作出是否拆除的决定，并明确说明拆除的依据和理由。若当事人在规定时间内未自行拆除且未申请行政复议或提起行政诉讼，相关部门可依法组织强制拆除，但需遵循法定程序，避免损害当事人合法财产。
- 特殊考量：在处理历史遗留违建时，还需考虑社会稳定、民生保障等因素。对于涉及大量居民利益的违建，应谨慎处理，避免引发社会矛盾。
四、实际操作建议
- 面对历史遗留的违建问题，建议当事人首先了解具体法律法规和政策导向，明确自己的权益和义务。
- 在处理过程中，应积极配合相关部门的调查工作，并提供必要的证据和材料。
- 若面临拆除风险，应及时寻求法律救济途径，如申请行政复议或提起行政诉讼等，以维护自身合法权益。
综上所述，历史遗留的违建问题需综合考虑多方面因素，并严格遵循法定程序进行处理。在实际操作中，应根据具体情况采取灵活多样的处理方式，以实现公共利益与当事人权益的平衡。如果您有具体的法律问题或需要进一步的法律帮助，请直接向我咨询。