农业农村主管部门责令退还非法占用的土地，通常应退还给土地的原权利人，一般是村集体经济组织或村民小组，具体需根据土地权属情况确定。以下从不同角度为您详细分析：

一、法律依据与土地权属

根据《中华人民共和国土地管理法》及相关规定，农村土地属于农民集体所有，由村集体经济组织或者村民委员会经营、管理。宅基地则是由农村村民作为集体经济组织成员，依法申请取得的用于建造住宅及其附属设施的集体建设用地。因此，当农业农村主管部门责令退还非法占用的土地时，退还的对象通常是土地的原权利人，即村集体经济组织或村民小组。

二、不同情况下的退还对象

1. 非法占用村集体土地：

   • 若非法占用的是村集体所有的土地，如未利用地、建设用地等，且该土地未分配给具体村民使用，则退还的对象为村集体经济组织或村民小组。

2. 非法占用村民宅基地：

   • 若非法占用的是村民已依法取得的宅基地，且该宅基地的使用权明确归属于某村民，但在非法占用期间，该村民可能因各种原因（如外出打工、迁出等）未实际使用宅基地。在此情况下，虽然宅基地的使用权仍属于该村民，但退还土地时，可能需通过村集体经济组织或村民小组进行协调，确保土地能够合法、合理地退还给原使用权人或按照相关规定进行处理。
   • 另一种情况是，非法占用者通过非法手段（如欺骗、贿赂等）取得了宅基地的使用权，但该使用权并未得到法律认可。在此情况下，农业农村主管部门责令退还土地时，退还的对象仍然是村集体经济组织或村民小组，因为该宅基地的使用权并未合法转移给非法占用者。

3. 非法占用其他集体土地用于非农业建设：

   • 若非法占用的是其他集体土地（如耕地、林地等）用于非农业建设（如建房、开矿等），且该土地的使用权未明确分配给具体村民或单位使用，则退还的对象同样为村集体经济组织或村民小组。同时，对于非法占用的行为，还可能面临限期拆除建筑物、恢复土地原状、罚款等处罚措施。

三、法律建议与后续行动

1. 确认土地权属：

   • 在农业农村主管部门责令退还非法占用的土地时，首先应确认土地的权属情况，明确退还的对象。这可以通过查阅土地登记资料、询问村集体经济组织或村民小组负责人等方式进行。

2. 配合执法部门工作：

   • 非法占用土地者应积极配合农业农村主管部门的工作，按照要求退还非法占用的土地，并接受可能的处罚措施。拒不执行退还命令或逃避处罚的，可能面临更严重的法律后果。

3. 寻求法律援助：

   • 若对退还土地的命令或处罚措施有异议，可以寻求法律援助或咨询专业律师，了解自己的权利和义务，并依法维护自己的合法权益。

4. 关注土地利用规划：

   • 在退还土地后，应关注土地的利用规划情况，确保土地能够得到合理、有效的利用。若退还的土地符合土地利用总体规划且具备开发利用条件，可以依法申请使用该土地进行农业或其他合法建设活动。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。