在闲置地上建仓库被要求交处罚金是否合理，需分情况讨论：

1. 土地性质与规划用途
   若该闲置地属于农用地（如耕地、林地）或生态保护用地，根据《土地管理法》第七十七条，未经批准擅自改变土地用途建仓库属于违法行为，行政机关可责令退还土地、限期拆除建筑物，并处罚款（罚款标准通常为每平方米100-1000元，具体由地方规定）。此时交处罚金具有合法性，但需核实罚款金额是否符合地方性法规的裁量标准。
   若土地为建设用地（如工业用地、仓储用地）且已取得规划许可，仅因未及时办理施工手续被处罚，则需结合《城乡规划法》第六十四条判断：若可采取改正措施消除影响，应限期改正并处工程造价5%-10%的罚款；若无法改正，则限期拆除并处罚款。此时处罚合理性取决于是否给予改正机会。

2. 行政程序合法性
   根据《行政处罚法》，行政机关作出处罚决定前需履行立案、调查取证、告知权利、听取陈述申辩等程序。若未依法送达《行政处罚事先告知书》或未听取当事人意见，即使处罚实体合法，程序违法也可能导致处罚被撤销。建议要求行政机关出示处罚决定书及执法卷宗，核查程序是否完备。

3. 处罚与违法行为匹配性
   需对比处罚种类与幅度是否与违法行为对应。例如：

   • 若仅违反施工许可规定，却按改变土地用途处罚，属于适用法律错误；
     
   • 若仓库面积仅100平方米，却按最高标准每平方米1000元罚款，可能涉及裁量权滥用。
     此时可通过行政复议或诉讼主张处罚不当。

建议行动步骤：

1. 立即要求行政机关出具书面处罚决定书，明确违法事实、法律依据及罚款计算方式；
   
2. 核对土地权属证明、规划许可证等材料，确认土地性质与用地合规性；
   
3. 若对处罚有异议，可在收到决定书后60日内申请行政复议，或6个月内直接起诉，主张程序违法或实体不当。
   

如有进一步细节（如土地性质、处罚文书内容等），可随时补充说明，我将为您具体分析。