村民小组在特定且符合法律规定的情况下有权收回农民的责任田，但必须严格遵循法定程序，并确保农民的合法权益得到妥善保障。以下是对此问题的详细分析：
一、村民小组有权收回责任田的情形
为乡（镇）村公共设施和公益事业建设需要：
- 根据《中华人民共和国土地管理法》的相关规定，若因修建幼儿园、学校、村道等公共设施或公益事业建设需要使用土地，且该土地原为农民的责任田，村民小组在报经原批准用地的人民政府批准后，可以收回土地使用权。
不按照批准的用途使用土地：
- 若农民将原本用于农业种植的责任田私自改为建房用地或其他非农业用途，且未经过合法审批程序，村民小组有权依法收回该责任田。
因撤销、迁移等原因而停止使用土地：
- 若农民全家迁移到城市定居且不再使用责任田，或者因其他原因导致责任田长期闲置、荒芜，村民小组在符合法定程序的情况下，可以收回该责任田。
承包户自愿交回或严重违约：
- 若承包户全家迁入设区的市并转为非农业户口，同时主动提出交回承包地，村民小组可依法收回。
- 当承包方违反承包合同，如破坏土地农业用途或连续两年以上闲置、荒芜耕地时，村民小组也有权收回土地。
其他法定情形：
- 如土地被征收或征用，或者农民因违反相关法律法规导致土地使用权被依法收回等，村民小组可能根据法律程序和政策要求参与土地回收工作。
二、村民小组收回责任田的程序与限制
遵循法定程序：
- 村民小组在收回责任田时，必须报经原批准用地的人民政府批准，并遵循提前通知、听取意见和申辩等法定程序。未经法定程序，村民小组擅自收回农民责任田的行为是违法的。
给予合理补偿：
- 在因公共利益需要收回责任田的情况下，村民小组应当对被占地农民给予合理补偿，以保障其合法权益。补偿标准应依据当地相关法律法规和政策规定执行。
保护农民权益：
- 在任何情况下，村民小组收回责任田都必须确保农民的合法权益得到妥善保障。若农民对收回行为不服，可通过申请仲裁或提起诉讼等方式维护自己的权益。
三、村民小组无权收回责任田的情形
- 在一般情况下，若农民未出现上述法定收回情形，且正常履行承包合同义务，村民小组无权收回责任田。责任田是农民依法承包用于农业生产的土地，受法律严格保护。
四、建议与咨询
- 面对责任田收回问题，农民应首先了解相关法律法规和政策规定，明确自己的权利和义务。
- 若遇疑问或争议，建议及时向我咨询以获取准确的法律意见和帮助。作为专业律师，我将根据您的具体情况提供针对性的法律建议和解决方案。
综上所述，村民小组在特定且符合法律规定的情况下有权收回农民的责任田，但必须严格遵守法律规定和程序，确保农民的合法权益不受侵害。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。