在拆除违法建筑的过程中，通常遵循的是行政优先处理的原则，但这一原则并非绝对，还需根据具体情况进行判断。以下是对这一问题的详细分析：

一、拆除违法建筑的一般原则及程序

根据《中华人民共和国行政处罚法》以及相关的城乡规划、土地管理等法律法规，违法建筑的处理明确属于行政处罚的范畴。在拆除违法建筑时，行政主管部门会遵循一套严格的行政处罚程序，以确保行政行为的合法性和公正性，同时保障当事人的合法权益。这套程序通常包括立案调查、作出处罚决定、送达处罚决定书以及执行处罚决定等步骤。

二、特殊情况下的处理

尽管一般情况下需要严格遵循行政处罚程序，但在某些特定情境下，拆除违法建筑的程序可能会得到简化或调整。例如，当违法建筑存在严重的安全隐患，如随时可能倒塌并危及周边居民的生命财产安全时，行政主管部门在来不及履行完整行政处罚程序的情况下，有权先行采取紧急措施予以拆除，以保障公共安全。然而，这种紧急拆除行为并非免除后续法律程序的借口，事后相关部门仍需按照规定补办相关手续，并对违法建筑的当事人依法进行处理。

三、行政处罚与行政强制措施的辨析

在探讨拆除违法建筑决定的法律性质时，还需考虑行政处罚与行政强制措施的区别。行政处罚是行政机关对违反行政管理秩序的公民、法人或其他组织所实施的一种惩戒行为，旨在通过减损权益或增加义务来纠正违法行为。而行政强制措施则是行政机关在行政管理过程中，为制止违法行为、防止证据损毁、避免危害发生或控制危险扩大而采取的暂时性限制或控制措施。在拆除违法建筑的语境下，若该建筑违反了城乡规划等相关法规，且拆除决定带有明显的惩罚性，则此决定应归类为行政处罚。但在某些特定情形下，如仅为纠正违法状态、恢复原状且不带有惩罚性时，可能被视为行政强制措施中的“排除妨碍、恢复原状”行为。

四、结论与建议

综上所述，拆除违法建筑通常需经过严格的行政处罚程序，以确保行政行为的合法性、公正性以及当事人合法权益的保护。然而，在面临紧急安全情况时，行政主管部门可以采取紧急措施先行拆除违法建筑，但事后必须补办相关手续并依法处理当事人。在实际操作中，建议当事人积极配合行政主管部门的调查与处理工作，并在收到行政处罚决定书后及时履行相关义务，以避免不必要的法律纠纷和损失。同时，对于行政主管部门而言，也应严格遵循相关法律法规和程序要求，确保拆除行为的合法性和有效性。