若对责任单位作出的处理意见书不服，通常可以向该责任单位的本级人民政府或者上一级主管部门申请行政复议。以下是对此问题的详细分析：

一、行政复议的基本概念

行政复议是指公民、法人或者其他组织认为具体行政行为侵犯其合法权益，依法向特定行政机关提出申请，由受理该申请的行政机关对原具体行政行为依法进行审查并作出决定的活动。行政复议是行政系统内部的一种监督和纠错机制，也是公民、法人或其他组织维护自身合法权益的一种重要途径。

二、行政复议的申请对象

1. 本级人民政府：如果责任单位是某一级人民政府的工作部门，那么对该部门作出的处理意见书不服，可以向该级人民政府申请行政复议。例如，如果对县公安局的处理意见书不服，可以向县人民政府申请行政复议。

2. 上一级主管部门：如果责任单位是实行垂直领导的行政机关，如海关、金融、外汇管理等，那么对该部门作出的处理意见书不服，应当向其上一级主管部门申请行政复议。例如，如果对市海关的处理意见书不服，应当向省海关申请行政复议。

三、行政复议的申请流程

1. 准备申请材料：包括行政复议申请书、身份证明、相关证据材料等。行政复议申请书应当载明申请人的基本情况、被申请人的名称、行政复议请求、申请行政复议的主要事实和理由、申请人的签名或者盖章以及申请行政复议的日期。

2. 提交申请：将准备好的申请材料提交给选定的行政复议机关。可以选择直接提交、邮寄提交或者通过电子政务平台提交等方式。

3. 等待受理与审查：行政复议机关在收到申请后，会在一定期限内进行审查，决定是否受理。如果受理，会进一步对原具体行政行为进行审查，并作出行政复议决定。

四、注意事项

1. 申请期限：根据《中华人民共和国行政复议法》的规定，公民、法人或者其他组织认为具体行政行为侵犯其合法权益的，可以自知道该具体行政行为之日起六十日内提出行政复议申请；但是法律规定的申请期限超过六十日的除外。因此，务必在法定期限内提出申请，以免丧失复议权利。

2. 证据收集：在申请行政复议前，应尽可能收集相关证据材料，以支持自己的复议请求。证据材料应真实、合法、有效，能够证明原具体行政行为存在错误或不当之处。

3. 法律咨询：如果对行政复议流程或相关法律规定不熟悉，建议咨询专业律师或法律援助机构，以获取更详细的法律指导和帮助。

作为专业律师，我建议你在申请行政复议前，仔细研究相关法律法规和政策文件，确保自己的复议请求合法、合理、有据可依。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。