遗产协议书不可以单方面随意解除。遗产协议，作为双方的法律行为，在双方处于平等地位、完全出于自愿，并且符合法律规定的各项要求时签订，它就具备了法律效力。如果想要撤销这份协议，必须要满足法定的情形，比如出现了重大误解、明显有失公平、存在欺诈行为、受到胁迫等能够让协议可撤销的原因，并且撤销还需要依照法定的程序来进行，如向法院提起诉讼。
以下是不同主体单方解除遗产协议的具体分析：
扶养人单方解除：
- 一般情况下，扶养人不享有任意单方解除遗赠扶养协议的权利。若扶养人无正当理由单方解除协议，将构成违约，因此丧失受遗赠的权利，同时其已支付的扶养费用通常也不会得到补偿。
- 例如，小张与小李签订遗赠扶养协议后，小李无故不履行扶养义务并单方解除协议，则小李将失去受遗赠的权利，且其之前为照顾小张所支出的费用也无法要求补偿。
遗赠人单方解除：
- 遗赠人在扶养人严重违反协议约定，如不履行扶养义务、虐待遗赠人等情况下，有权单方解除遗赠扶养协议，且无需向扶养人补偿已支付的扶养费用。
- 例如，若老王与小赵签订遗赠扶养协议后，小赵未履行扶养义务且对老王有虐待行为，老王则有权单方解除协议，且无需向小赵支付任何补偿。
- 若遗赠人无正当理由单方解除协议，则可能需要偿还扶养人已支付的扶养费用，还可能面临承担其他违约责任的后果。
因此，在处理与遗产协议相关的事务时，一定要谨慎签订并严格履行协议，避免因随意撤销或解除而引发不必要的纠纷，从而更好地确保自己的合法权益。如果您有关于遗产协议的任何疑问或需要进一步的法律帮助，请直接向我咨询。