是否需要交罚款需分情况讨论，关键在于填土行为是否违反土地管理法规以及您是否及时履行了相应义务，具体分析如下：

1. 若填土行为改变了耕地用途且未经审批，您可能面临行政处罚，但及时退租可减轻责任
   根据《土地管理法》第七十五条，破坏耕地的（包括擅自填土改变耕地用途），由县级以上人民政府自然资源主管部门责令限期改正或治理，可并处罚款（罚款额为耕地开垦费的2倍以下）；构成犯罪的（如造成耕地大量毁坏），依法追究刑事责任。
   对您的影响：若承租人填土未经您同意，或您未尽到监督义务（如未及时发现、制止），您可能因“未履行土地管理责任”被连带处罚；但若您在发现后立即退还租金、终止合同，并主动向自然资源部门报告，可争取从轻或免除处罚。

2. 若填土行为未改变耕地用途（如临时堆放），但未恢复原状，您仍需承担恢复责任
   若填土仅是短期行为（如施工临时堆放），且未破坏耕作层，根据《土地管理法实施条例》第二十条，使用后应及时恢复种植条件。若承租人未恢复，您作为土地所有权人/使用权人，可能被要求限期恢复；逾期不恢复的，由相关部门代为恢复，费用由您承担。
   对您的影响：此时罚款风险较低，但需承担恢复费用；若您已退租并要求承租人恢复，可留存证据（如书面通知、照片）以避免责任。

3. 关键行动建议：立即采取以下措施降低风险

   • 固定证据：拍照/录像记录填土现状，保留租约、退租记录、沟通记录（如微信、短信）；
     
   • 报告主管部门：向当地自然资源局或农业农村局提交书面报告，说明情况并要求处理承租人；
     
   • 要求承租人恢复：通过书面通知（如律师函）要求其限期清理填土、恢复耕地，否则将追究其违约责任；
     
   • 咨询专业评估：若填土已造成耕地严重破坏，可委托第三方机构评估损失，为后续索赔或抗辩提供依据。

总结：是否罚款取决于填土行为是否违法及您的过错程度。若您已积极退租、报告并督促恢复，罚款风险较低；但若放任不管，可能面临行政处罚甚至刑事责任。建议尽快按上述步骤处理，如有疑问可进一步向我咨询具体操作细节。