结论：行政机关以违建为由拆除厂房是否合法，需根据具体情况判断，包括厂房是否确实属于违建、拆除程序是否合法以及是否存在其他特殊情形等。以下从不同角度进行详细分析：

一、厂房是否属于违建

1. 违建的定义：违建通常指的是未经规划、建设等部门批准，擅自搭建的建筑物或构筑物。如果厂房是在未取得相关建设许可的情况下擅自建设的，那么它很可能被认定为违建。

2. 合法性判断：要判断厂房是否属于违建，需要查看其建设时是否取得了必要的规划许可、建设许可等文件。如果厂房建设时未取得这些文件，或者虽然取得了但后续被撤销或确认无效，那么厂房就可能被认定为违建。

二、拆除程序是否合法

1. 行政机关的职权：行政机关在拆除违建时，必须依法行使职权。这包括确保拆除决定是基于充分的证据和合理的判断作出的，以及拆除程序符合法定要求。

2. 拆除程序的合法性：

   • 通知与听证：在作出拆除决定前，行政机关通常应当通知厂房的所有者或使用者，并告知其有权进行陈述和申辩。在某些情况下，行政机关还应当举行听证会，听取相关方的意见。
   • 拆除决定的作出：拆除决定应当基于充分的证据和合理的判断作出，并明确拆除的理由、依据、时间、方式等。
   • 强制执行：如果厂房的所有者或使用者在规定期限内未自行拆除，行政机关可以依法进行强制执行。但强制执行前，行政机关应当再次通知，并告知其有权申请行政复议或提起行政诉讼。

3. 程序违法的后果：如果行政机关在拆除过程中违反了法定程序，如未通知、未听证、未作出正式拆除决定等，那么其拆除行为可能被认定为违法。此时，厂房的所有者或使用者可以依法申请行政复议或提起行政诉讼，要求确认拆除行为违法并寻求相应的赔偿。

三、其他特殊情形

1. 历史遗留问题：如果厂房建设时间较早，且当时的相关法律法规对建设许可的要求并不严格或尚未出台，那么厂房可能因历史遗留问题而不被认定为违建。在这种情况下，行政机关的拆除行为可能缺乏合法依据。

2. 政策变化：有时政策的变化可能导致原本合法的建筑物或构筑物变得不合法。然而，在这种情况下，行政机关通常应当给予一定的过渡期或补偿措施，而不是直接拆除。

3. 相邻权保护：如果厂房的拆除可能影响到邻村的合法权益（如排水、通风、采光等），那么行政机关在作出拆除决定时应当充分考虑这些因素，并确保拆除行为不会损害邻村的合法权益。

四、建议与行动

1. 核实厂房合法性：首先，您需要核实厂房的建设是否取得了必要的规划许可、建设许可等文件。如果未取得或文件已失效，那么厂房可能存在违建风险。

2. 审查拆除程序：其次，您需要审查行政机关的拆除程序是否合法。包括是否通知了您、是否举行了听证会、是否作出了正式的拆除决定等。如果程序存在违法之处，您可以依法申请行政复议或提起行政诉讼。

3. 寻求专业帮助：如果您对行政机关的拆除行为存在疑问或不满，建议及时咨询专业律师（即我本人，汪涛律师，专注于刑事辩护、取保候审、律师会见、公司事务、合同纠纷、经济纠纷、行政纠纷、离婚财产纠纷等领域）。我可以根据您的具体情况提供专业的法律意见和帮助。

4. 保留证据：在处理此类纠纷时，保留相关证据至关重要。包括厂房的建设文件、行政机关的通知和决定、现场照片和视频等。这些证据将有助于您维护自己的合法权益。