结论：在行政不作为的情况下，复议时一般不可以直接要求撤销信访意见书，但可以通过复议程序对行政不作为进行监督和纠正，并可能间接影响信访意见书的效力。
分析说明：
行政不作为与复议的关系：
- 行政不作为指的是行政机关在法定职责范围内，对公民、法人或其他组织的申请、请求等，未依法履行或未及时履行其职责的行为。
- 复议是公民、法人或其他组织认为行政机关的具体行政行为侵犯其合法权益时，依法向复议机关提出申请，由复议机关对该具体行政行为进行审查并作出决定的活动。
- 在行政不作为的情况下，公民、法人或其他组织可以通过复议程序来监督和纠正行政机关的不作为行为。
信访意见书与复议的关系：
- 信访意见书通常是行政机关对信访事项的处理意见或建议，它本身并不直接构成具体行政行为，而是对信访事项的一种回应或处理方式。
- 复议程序主要针对的是具体行政行为，如行政处罚、行政许可等。由于信访意见书不属于具体行政行为，因此一般不能直接通过复议程序要求撤销。
通过复议间接影响信访意见书效力的可能性：
- 如果信访事项涉及的具体行政行为存在不作为或违法情形，且该具体行政行为是信访意见书的基础或依据，那么通过复议程序纠正该具体行政行为后，信访意见书的效力可能会受到影响。
- 例如，如果信访事项是关于某项行政许可的申请，而行政机关未依法作出许可决定（即行政不作为），公民、法人或其他组织可以通过复议程序要求行政机关履行许可职责。如果复议机关支持了复议申请，行政机关被要求作出许可决定，那么之前基于未许可状态作出的信访意见书可能就不再适用或需要重新评估。
法律建议：
- 如果您认为行政机关存在不作为行为，且该不作为行为影响了您的合法权益，您可以考虑通过复议程序来监督和纠正该行为。
- 在复议过程中，您可以提供相关证据和材料，证明行政机关的不作为行为以及该行为对您造成的损害。
- 如果信访意见书是基于不作为行为作出的，且您认为该意见书存在错误或不合理之处，您可以在复议过程中提出相关意见和诉求，但直接要求撤销信访意见书可能不是复议程序的主要目标。
- 如果您对复议结果不满意，还可以考虑通过诉讼等法律途径来进一步维护自己的合法权益。
后续行动建议：
- 在准备复议申请时，务必收集并整理好相关证据和材料，以支持您的复议请求。
- 如果您对复议程序或相关法律问题存在疑问或不确定之处，建议及时咨询专业律师以获取更具体的法律建议和指导。
如有其他疑问或需要进一步的法律帮助，请直接向我咨询。