关于二十年前非法建筑的处理，这确实是一个复杂的问题，因为它涉及到多个方面的考量。以下是一些可能的处理方式：

首先，需要确认该建筑是否确实属于非法建筑，这通常取决于当地的规划和建筑法规。如果确认是非法建筑，那么处理的方式将取决于多个因素，包括但不限于建筑的位置、规模、对周围环境和社区的影响，以及建筑所有者的合作态度等。

一般来说，城乡规划主管部门或城市管理部门会首先责令停止建设，并要求限期改正。如果建筑所有者逾期不改正，主管部门有权依法拆除该非法建筑。然而，在处理过程中，也会给予建筑所有者陈述和申辩的机会。

对于已经存在了二十年的非法建筑，可能会被视为历史遗留问题。这种情况下，处理时会综合考虑更多因素，比如建筑是否符合当时的建设规定，对当前规划实施有无影响等。具体的处理方式可能包括罚款后保留建筑、要求限期改正、部分拆除或直接没收等。

另外，如果非法建筑不影响公共安全、不侵害他人合法权益，且建筑所有者主动整改以消除不良影响，经过相关部门评估，也可能从轻处理，比如责令补办相关手续，使建筑合法化。

但是，如果非法建筑严重影响城市规划，存在重大安全隐患，那么无论其存在多少年，通常都会坚决依法拆除。

总的来说，处理二十年前的非法建筑需要综合考虑多方面因素，包括法律规定、建筑的实际情况、对周围环境和社区的影响等。相关部门会按照合法、合理、公正的原则，根据实际情况作出处理决定。