行政处罚中不存在“被害人”不调解需书面材料的说法，行政处罚与刑事案件的调解机制有本质区别。以下从法律逻辑和实务操作两个层面展开分析：

1. 行政处罚的“调解”属性与程序要求

行政处罚是行政机关对违法行为人作出的制裁性决定，其核心是公法上的惩戒，而非民事纠纷的调解。根据《行政处罚法》第三十三条，仅在“违法行为轻微并及时改正，没有造成危害后果”或“当事人有证据足以证明没有主观过错”等法定情形下，行政机关可不予处罚，但这与“调解”无关。

实务中：若行政处罚涉及民事赔偿争议（如治安案件中的财物损坏），公安机关可能组织双方就赔偿金额进行调解，但调解结果不影响行政处罚的作出。即使被害人拒绝调解，行政机关仍需依法作出处罚决定，无需被害人出具书面材料。

2. “被害人”不调解的法律后果

在行政处罚场景中，“被害人”通常指权益受侵害的公民或法人。若其拒绝参与调解：

• 对行政处罚程序无影响：行政机关不得因被害人拒绝调解而中止或终止处罚程序，仍需按法定时限完成调查、告知、决定等流程。
• 对民事赔偿的影响：若调解失败，被害人可通过民事诉讼主张赔偿，但需自行收集证据（如损失证明、因果关系等），行政机关一般不介入民事赔偿的举证责任。

例外情形：若行政处罚决定本身涉及民事赔偿的强制执行（如罚款直接抵扣赔偿），需通过法院裁定，此时被害人拒绝调解可能影响执行进度，但仍无需书面声明。

3. 实务建议

• 对行政机关：若组织调解，应制作《调解记录》载明双方意见，但无需被害人签字确认调解结果。
• 对被害人：若认为行政处罚违法或程序不当，可通过行政复议或诉讼维权，调解与否不影响救济权利。
• 对违法行为人：行政处罚的合法性取决于事实认定和法律适用，与被害人是否调解无关。

总结：行政处罚中被害人拒绝调解无需提交书面材料，行政机关应依法独立作出处罚决定。若涉及民事赔偿争议，建议通过法律途径明确责任，避免因程序误解影响权益。如有具体案件细节，可进一步向我咨询。