签署离职协议双方的权利义务终止是否合法，这需要根据具体情况来判断。

通常来讲，如果离职协议是在双方处于平等地位、出于自身真实意愿，且没有违反国家法律法规的强制性规定的情况下签订的，那么该协议一般是有效的，即双方的权利义务终止是合法的。这就像两个平等的交易主体，在公平、公正的氛围下达成的协议，理应受到法律的认可。

然而，如果协议的签订过程中存在以下情形，那么协议可能会被认定为无效或者是可撤销的：

1. 存在欺诈行为：比如用人单位故意隐瞒某些重要信息，诱导劳动者签署。
2. 存在胁迫情况：即用人单位以威胁、恐吓等手段迫使劳动者不得不签。
3. 存在重大误解：劳动者对协议的内容有根本性的错误认识。
4. 协议内容显失公平：比如用人单位凭借自身在经济等方面的优势地位，强迫劳动者签署放弃权利的协议。

在这些情况下，劳动者有权利主张协议无效，双方的权利义务也就不能简单地通过协议来终止。

因此，不能一概而论地认为签署离职协议双方的权利义务终止就一定合法，必须要结合具体的实际情况进行细致的分析和准确的判断。如果你在这方面遇到了问题，可以直接向我咨询，我会根据你的具体情况给出专业的法律建议。