农业农村部门一般不能直接依据《土地管理法》第七十八条第二款进行罚款。具体分析如下：

1. 《土地管理法》第七十八条第二款的内容与适用
   该条款规定：“农村村民未经批准或者采取欺骗手段骗取批准，非法占用土地建住宅的，由县级以上人民政府农业农村主管部门责令退还非法占用的土地，限期拆除在非法占用的土地上新建的房屋。”
   从条文内容看，农业农村主管部门的职权是“责令退还土地”和“限期拆除房屋”，并未赋予罚款的权力。罚款属于行政处罚的一种，而该条款未明确将罚款列为农业农村部门的处罚措施。

2. 农业农村部门与自然资源部门的职权划分
   根据《土地管理法》及相关规定，农业农村部门主要负责农村宅基地的管理（如审批、监督），而自然资源部门负责土地资源的整体监管（包括查处非法占地行为）。
   若涉及非法占用土地（非仅宅基地）或更复杂的土地违法行为，通常由自然资源部门依据《土地管理法》第七十七条（现第七十八条第一款）等条款进行查处，该条款明确规定了罚款的适用情形（如“对符合土地利用总体规划的，没收在非法占用的土地上新建的建筑物和其他设施，可以并处罚款”）。

3. 农业农村部门罚款的例外情形
   若地方性法规或规章在《土地管理法》框架内，明确授权农业农村部门对特定违法行为（如宅基地违法）行使罚款权，则可能存在例外。但此类规定需严格符合上位法，且实践中较少见。未有明确授权时，农业农村部门不得自行设定或行使罚款权。

建议：

• 若您遇到农业农村部门以该条款为由罚款，可要求其出具法律依据，并核实地方性法规是否授权。
  
• 如涉及复杂土地纠纷（如非法占地、宅基地争议），建议结合具体情节，进一步分析是否涉及其他部门职权或法律条款。
  

如有具体案件或细节需要进一步分析，可直接向我咨询。