存在违法情形、显失公平或非自愿签署的调解协议书，当事人可以不签字。具体来说，有以下几种情况：

1. 调解协议内容违法：如果调解协议中的条款违反了国家法律法规的强制性规定，比如涉及非法交易、侵犯他人合法权益等，这样的协议是无效的，当事人有权拒绝签字。因为法律不会保护任何违法的行为或约定，签字即意味着对违法内容的认可，可能会带来法律风险。

2. 调解协议显失公平：如果调解协议在权利义务分配上明显不公平，比如一方承担了过多的义务而享受了极少的权利，或者另一方则相反，这种不公平的协议可能会被法院认定为可撤销的协议。在这种情况下，当事人如果觉得协议内容对自己极为不利，也可以选择不签字。

3. 非自愿签署：调解协议应当是双方自愿达成的，如果一方是在被胁迫、欺诈或者重大误解的情况下签署的，那么这样的协议也是无效的。比如，一方以暴力、威胁等手段迫使另一方签署调解协议，或者一方故意隐瞒重要事实导致另一方误解而签署协议，这些情况下，受胁迫或误解的一方有权拒绝签字，并在事后向法院申请撤销该协议。

建议：在面对调解协议时，一定要仔细阅读协议内容，确保自己完全理解并同意其中的条款。如果对协议内容有任何疑问或不满，不要急于签字，可以与对方进行进一步的沟通协商，或者寻求专业法律人士的帮助。如果确实存在上述不应签字的情况，那么坚决拒绝签字是保护自己合法权益的正确做法。