在建筑工地上不施工而改种地的行为，是否违法，需要具体分析。以下是从不同角度给出的解答：

1. 土地使用权角度：

   • 如果建筑工地所使用的土地是依法取得并用于建设工程的，那么其土地使用权通常是有特定用途限制的，即主要用于施工建设。若未经相关部门批准，擅自改变土地用途，如将建筑工地改为农用地进行种植，可能会构成违法用地行为。
   • 在此情况下，相关部门有权要求恢复原状、罚款，甚至可能涉及更严重的法律责任。

2. 规划许可角度：

   • 建筑工地通常需要按照规划许可进行建设。如果规划许可中明确规定了土地的使用性质和建设内容，而实际使用中却改为了种植，那么这就违反了规划许可的要求。
   • 违反规划许可的行为同样可能面临行政处罚，包括罚款、责令改正等。

3. 环境保护和安全生产角度：

   • 建筑工地改为种地，如果未进行必要的环境评估和土壤处理，可能会对环境造成污染或破坏。
   • 同时，如果种植过程中使用了不适当的农药或化肥，还可能对周边环境和居民健康造成影响。
   • 此外，如果建筑工地本身存在安全隐患，如未处理的建筑垃圾、未稳固的基坑等，直接进行种植也可能引发安全事故。

4. 特殊情况：

   • 在某些特殊情况下，如政府征用土地进行临时绿化、生态修复等，可能允许在建筑工地上进行种植。但这需要政府相关部门的明确批准和监管。

综上所述，建筑工地上不施工而改种地的行为是否违法，取决于具体的土地使用权、规划许可、环境保护和安全生产要求等因素。因此，在进行此类行为前，建议咨询当地相关部门或专业律师，以确保合法合规。如果你有任何具体的法律问题或需要进一步的咨询，可以直接向我提问。