拆除乡政府大楼是否合法，需根据具体情况及法律规定综合判断，无法直接给出合法或非法的绝对结论。以下从不同角度进行分析：
一、合法拆除的情形
基于公共利益的需要：
- 如果乡政府大楼因年久失修、存在安全隐患，或因城市规划、基础设施建设等公共利益需要而拆除，且拆除行为经过了合法的程序，如获得了相关部门的批准、进行了公告、听取了利害关系人的意见等，那么这种拆除行为是合法的。
依法进行的拆迁：
- 在某些情况下，乡政府大楼可能位于需要拆迁的区域内，如因旧城改造、土地征收等原因。如果拆迁行为严格遵循了《国有土地上房屋征收与补偿条例》等相关法律法规的规定，包括征收决定的作出、补偿方案的制定、补偿的支付等，那么拆除行为也是合法的。
二、非法拆除的情形
未履行法定程序：
- 如果拆除行为未经合法程序，如未获得相关部门的批准、未进行公告、未听取利害关系人的意见等，那么这种拆除行为可能是非法的。
超越职权或滥用职权：
- 如果拆除行为是由无权机关或个人作出的，或者拆除行为超出了法定职权范围，如乡政府自行决定拆除其大楼而未经上级政府或相关部门批准，那么这种拆除行为也是非法的。
违反补偿规定：
- 在拆迁过程中，如果未依法对被征收人进行合理补偿，或者补偿标准明显低于市场价值，那么拆除行为也可能因违反补偿规定而被视为非法。
三、法律后果与建议
- 法律后果：非法拆除行为可能面临行政处罚、民事赔偿甚至刑事责任。例如，如果拆除行为导致他人财产损失，拆除方可能需要承担民事赔偿责任；如果拆除行为构成犯罪，如故意毁坏财物罪，拆除方还可能面临刑事处罚。
- 建议：对于拆除乡政府大楼的行为，建议相关方在拆除前务必咨询专业律师或法律机构，确保拆除行为符合法律法规的规定。同时，利害关系人如认为拆除行为非法，也可以依法寻求法律救济，如提起行政诉讼或民事诉讼等。
如有具体法律问题或需要进一步的法律帮助，请直接向我咨询。我将根据您的具体情况，提供专业的法律意见和解决方案。