首先，我们要明确一点：责任田是属于农村集体所有的土地，由农村集体经济组织成员（即村民）承包经营。当某位村民去世后，其承包的责任田并不直接成为其遗产由继承人继承，而是应由发包方（通常是村委会或生产队）根据相关规定和实际情况进行处理。

针对你提到的情况，哥哥去世后，其责任田被生产队交给别人种植，弟弟想要回这块地，但被告知是生产队的安排。这里涉及几个关键点：

1. 哥哥去世后的责任田处理：

   • 一般情况下，哥哥去世后，其责任田应由发包方收回，并可能重新分配给其他村民种植。
   • 如果哥哥生前有遗嘱或家庭协议，且该遗嘱或协议合法有效，并明确指出了责任田的归属，那么应按照遗嘱或协议处理。

2. 弟弟的权益：

   • 弟弟作为哥哥的近亲属，并不直接享有对哥哥责任田的继承权。
   • 如果弟弟认为生产队的处理不当，或存在侵犯其合法权益的情况，他可以向村委会或相关部门反映情况，寻求解决。

3. 生产队的安排：

   • 生产队作为发包方，有权对责任田进行管理和分配。
   • 如果生产队的安排符合相关规定和程序，那么弟弟应尊重生产队的决定。

综上所述，弟弟想要回哥哥的责任田，需要明确几点：一是责任田并不直接成为遗产；二是弟弟并不直接享有继承权；三是生产队有权对责任田进行管理和分配。如果弟弟认为自己的权益受到侵犯，可以通过合法途径寻求解决。

因此，建议弟弟首先了解当地的相关规定和政策，然后与生产队或村委会进行沟通，明确责任田的处理方式和自己的权益。如果有必要，也可以咨询专业律师（比如我）进行进一步的法律咨询和援助。