非法种树的处理部门主要取决于种树行为的性质和造成的后果，一般情况下，可能涉及林业部门、城市管理部门或环保部门等。以下是对此问题的详细分析：
林业部门：
- 如果非法种树行为发生在林地、森林或相关生态保护区域内，且可能对森林资源、生态环境造成破坏，那么林业部门将是主要的处理部门。
- 林业部门有权对非法占用林地、擅自改变林地用途、非法采伐林木等行为进行查处，并可以采取相应的行政处罚措施，如罚款、恢复原状等。
城市管理部门：
- 如果非法种树行为发生在城市规划区内，且可能影响城市规划、市容市貌或公共安全，那么城市管理部门（如城管局）可能会介入处理。
- 城市管理部门有权对在城市规划区内未经批准擅自种植树木、破坏城市绿化等行为进行查处，并可以要求行为人停止违法行为、恢复原状或承担其他相应的法律责任。
环保部门：
- 如果非法种树行为对生态环境造成了严重破坏，如污染土壤、水源等，那么环保部门也可能会参与处理。
- 环保部门有权对环境污染行为进行调查、监测和评估，并可以采取相应的行政处罚措施或要求行为人承担环境修复责任。
特殊情况说明：
- 如果非法种树行为同时涉及多个部门的管理范围，如既影响了城市规划又破坏了生态环境，那么相关部门可能会联合执法，共同处理该行为。
- 在某些情况下，如果非法种树行为构成了犯罪（如非法占用农用地罪、破坏环境资源保护罪等），那么公安机关也可能会介入调查，并依法追究行为人的刑事责任。
建议：
- 如果您发现了非法种树行为，建议首先观察该行为的具体情况和可能造成的后果，然后根据上述分析判断可能涉及的处理部门。
- 您可以向相关部门举报该行为，并提供详细的证据和信息，以便相关部门能够及时、有效地进行处理。
- 如果您对处理结果不满意或认为处理不当，您可以依法申请行政复议或提起行政诉讼，维护自己的合法权益。
如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。