结论：该协议的有效性取决于多个因素，包括协议内容是否合法、双方签订时的真实意思表示、是否存在胁迫或欺诈等情形。若协议内容合法且双方自愿签订，无胁迫或欺诈，则该协议具有法律效力；反之，则可能无效或可撤销。
分析：
协议内容的合法性：
- 协议中约定的“再以任何方式骚扰他要赔五十万”这一条款，从表面上看，是对一方行为的限制和违约责任的约定。然而，其合法性需考虑多个方面。
- 首先，该条款不得违反法律法规的强制性规定。例如，如果“骚扰”行为本身并未达到违法或犯罪的程度，而协议约定的赔偿金额却过高，可能被视为对一方权利的过度限制，从而影响协议的合法性。
- 其次，该条款不得违背公序良俗。如果协议的内容或目的违反了社会公共利益或道德准则，那么该协议也可能被认定为无效。
双方签订时的真实意思表示：
- 协议的有效性还取决于双方签订时的真实意思表示。如果一方在签订协议时存在胁迫、欺诈或重大误解等情形，导致另一方在违背真实意愿的情况下签订了协议，那么该协议可能被视为可撤销。
- 在这种情况下，受胁迫或欺诈的一方有权向法院或仲裁机构申请撤销该协议。
协议的实际履行情况：
- 即使协议在签订时是有效的，但如果在实际履行过程中出现了问题，如一方未按照协议约定履行义务，或者协议约定的内容无法实现等，也可能影响协议的法律效力。
- 此外，如果协议中约定的赔偿金额过高，且实际损失远低于该金额，那么法院或仲裁机构在裁决时可能会根据实际情况对赔偿金额进行调整。
建议：
- 对于签订协议的一方：在签订此类协议前，应仔细考虑协议内容的合法性和合理性，确保双方的权利和义务得到平衡。同时，应保留好签订协议时的相关证据，如聊天记录、录音录像等，以备不时之需。
- 对于可能受到协议约束的一方：如果认为协议内容不合法或存在胁迫、欺诈等情形，应及时向法院或仲裁机构申请撤销该协议。同时，也应保留好相关证据，以证明自己的主张。
- 对于双方：无论协议是否有效，都应尽量通过友好协商的方式解决纠纷。如果协商无果，再考虑通过法律途径解决。
可能后果：
- 如果协议被认定为有效，且一方违反了协议约定，那么另一方有权要求违约方按照协议约定支付赔偿金。
- 如果协议被认定为无效或可撤销，那么双方应恢复原状，即回到签订协议前的状态。如果因此给一方造成了损失，受损方有权要求过错方承担赔偿责任。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。