农业用地一般不可以随意回填石渣，是否允许需根据土地性质、用途管制及环保要求综合判断。具体分析如下：

1. 土地用途管制限制
   根据《土地管理法》第四条，国家实行土地用途管制制度，农业用地（如耕地、林地、草地等）必须严格按规划用途使用。若需改变用途（如将耕地转为建设用地或回填石渣进行土地硬化），需依法办理农用地转用审批手续。未经批准擅自回填石渣可能构成非法占用农用地，面临行政处罚（如责令恢复原状、罚款）甚至刑事责任（《刑法》第三百四十二条非法占用农用地罪）。

2. 环保与土壤保护要求
   回填石渣可能对土壤结构、肥力及生态环境造成破坏，需符合《土壤污染防治法》及地方环保标准。例如：

   • 若石渣含重金属或其他污染物，可能污染土壤，需进行环境影响评价并采取防治措施；
     
   • 回填行为若导致土地沙化、盐渍化或水土流失，可能违反《环境保护法》第六十八条，需承担修复责任。

3. 特殊情形下的例外

   • 临时性使用：若回填石渣为短期农业设施建设（如修建临时道路、灌溉设施）且符合规划，可能通过临时用地审批程序合法化，但需在期限内恢复原状；
     
   • 土地整治项目：经批准的土地复垦或高标准农田建设项目中，回填石渣可能作为工程措施的一部分，但需严格按设计方案实施并验收。

建议行动：

1. 立即停止未经批准的回填行为，避免法律风险升级；
   
2. 向当地自然资源主管部门（如自然资源局）查询土地规划用途及转用审批流程；
   
3. 委托专业机构评估石渣成分及回填对土壤的影响，确保符合环保要求；
   
4. 若需长期使用土地，依法申请农用地转用或临时用地许可。
   

如有进一步疑问，可直接向我咨询具体操作流程及合规方案。