针对您提出的“在责任田乱栽扬树影响别人种田，由哪个单位管”的问题，结论是：此类问题通常由当地的农业农村部门或乡镇政府负责管理，若涉及土地权属争议，则可能需国土资源部门介入。以下从不同角度为您详细分析：

1. 农业农村部门或乡镇政府的管理职责：

   • 责任田作为农田的一部分，其使用和管理通常受到农业农村部门或乡镇政府的监管。当有人在责任田上乱栽树木，影响他人正常耕种时，这首先构成了一种对农田使用秩序的干扰。
   • 农业农村部门或乡镇政府有权对农田使用进行规范和管理，包括制止非法占用农田、保护农田生态环境等。因此，您可以向当地的农业农村部门或乡镇政府反映情况，请求他们介入处理。

2. 国土资源部门的潜在介入：

   • 如果乱栽树木的行为涉及到了土地权属的争议，比如有人未经允许在您的责任田上栽树，或者栽树的行为改变了土地的原定用途（如将农田变为林地），那么这可能涉及到土地管理法的相关规定。
   • 在这种情况下，国土资源部门（或现在的自然资源部门）可能会介入调查，确定土地权属，并依据相关法律法规对违法行为进行处罚。

3. 法律途径的考虑：

   • 如果上述行政途径无法有效解决问题，您还可以考虑通过法律途径来维护自己的权益。比如，您可以向法院提起民事诉讼，要求对方停止侵害、恢复原状，并赔偿因乱栽树木给您造成的损失。
   • 在提起诉讼前，建议您收集好相关证据，如现场照片、证人证言、土地权属证明等，以便在诉讼中证明自己的主张。

行动建议：

• 首先，尝试与乱栽树木的人进行沟通，看是否能够通过协商解决问题。
• 如果协商无果，可以向当地的农业农村部门或乡镇政府反映情况，请求他们介入处理。
• 如果问题涉及到土地权属争议或行政途径无法解决，可以考虑咨询专业律师，了解通过法律途径维护自己权益的具体方法和步骤。

希望以上分析能够对您有所帮助。如果您在处理此类问题时遇到任何困难或疑问，可以直接向我咨询，我会尽我所能为您提供专业的法律建议。