受害者一般不可以直接调取侵害人的行政处罚书，但在特定情况下可以通过合法途径获取。以下从不同角度为你详细分析：

从行政处罚书的性质和保密性角度

行政处罚书是行政机关对违法行为人作出行政处罚的书面文件，它包含了行政机关的执法过程、违法事实认定、处罚依据及处罚结果等重要信息。在一般情况下，行政处罚书具有一定的保密性，并非随意向公众公开的文件。这是为了保护当事人的隐私、维护行政执法的严肃性以及保障行政程序的正常进行。例如，如果行政处罚涉及个人隐私信息，如个人的健康状况、家庭情况等，随意公开可能会对当事人造成不必要的困扰和损害。所以，受害者不能直接向行政机关要求调取侵害人的行政处罚书。

从受害者的权利和救济途径角度

虽然受害者不能直接调取，但在某些情况下可以通过合法途径获取相关信息以维护自身权益：

1. 在刑事诉讼过程中：如果侵害人的违法行为涉嫌犯罪，案件进入刑事诉讼阶段。在刑事诉讼中，公安机关、检察机关等司法机关为了查明案件事实、追究犯罪嫌疑人的刑事责任，会收集和调取包括行政处罚书在内的各种证据材料。受害者作为案件的当事人，可以通过委托律师参与诉讼的方式，律师可以根据法律规定和诉讼程序，向司法机关申请查阅、复制与案件有关的证据材料，其中就可能包括侵害人的行政处罚书。例如，在故意伤害案件中，如果侵害人之前因类似违法行为受到过行政处罚，这份行政处罚书可能对于认定其主观恶性和犯罪情节有一定的参考价值，律师可以依法申请调取。
2. 通过申请政府信息公开（有限情况）：根据《中华人民共和国政府信息公开条例》的规定，行政机关应当主动公开涉及公众利益调整、需要公众广泛知晓或者需要公众参与决策的政府信息。不过，行政处罚书通常不属于主动公开的范围。但在某些特殊情况下，如果行政处罚决定涉及公共利益，且不涉及国家秘密、商业秘密和个人隐私，受害者可以向作出行政处罚决定的行政机关申请政府信息公开。行政机关会根据具体情况进行审查，如果认为符合公开条件，会向受害者提供相应的行政处罚书。比如，某企业因环境污染违法行为受到行政处罚，该处罚决定可能影响到周边居民的生态环境权益，周边居民作为受害者可以向环保部门申请公开该企业的行政处罚书。

从实际操作和注意事项角度

如果受害者希望通过上述途径获取侵害人的行政处罚书，需要注意以下几点：

1. 委托专业律师：在刑事诉讼过程中申请调取证据或者申请政府信息公开，都需要具备一定的法律知识和程序操作能力。委托专业律师可以确保申请的合法性和有效性，提高获取行政处罚书的成功率。律师会根据案件具体情况，制定合理的申请策略，并按照法定程序向相关部门提交申请材料。
2. 提供合理理由：无论是申请调取刑事诉讼中的证据材料还是申请政府信息公开，受害者都需要向相关部门提供合理的理由，说明获取行政处罚书与自身权益的关联性和必要性。例如，在申请政府信息公开时，要详细阐述行政处罚决定如何影响到自己的合法权益，以及公开该信息对于维护自身权益的重要意义。
3. 遵守法定程序：在申请过程中，要严格遵守相关法律法规和程序规定。按照要求填写申请表格、提交申请材料，并配合相关部门的审查和调查工作。如果申请被拒绝，可以根据法律规定提出复议或者诉讼等救济措施。

如果你在获取行政处罚书过程中遇到问题或者有其他法律疑问，可以直接向我咨询，我会为你提供专业的法律帮助。