结论：您描述的情况一般不构成诈骗，但可能涉及违反协议约定的民事责任，甚至可能触犯治安管理处罚法中的相关规定。
分析说明：
诈骗罪的构成要件：
- 诈骗罪要求行为人以非法占有为目的，通过虚构事实或隐瞒真相的方法，骗取数额较大的公私财物。
- 在您描述的情况中，虽然您最初与对方达成了“不骚扰给付对方五千块钱”的协议，但后续的反悔和骚扰行为，并不直接等同于以非法占有为目的的诈骗行为。因为您已经支付了五千块钱，没有进一步非法占有对方财物的目的。
可能涉及的民事责任：
- 您与对方之间的协议，如果具备合同的基本要素（如双方意思表示真实、内容合法、不违反公序良俗等），则该协议具有法律效力。
- 您反悔并骚扰对方的行为，可能构成对协议约定的违反，对方有权要求您承担违约责任，如继续履行协议、赔偿损失等。
可能触犯的治安管理处罚法规定：
- 如果您的骚扰行为严重到一定程度，如频繁骚扰、威胁、恐吓等，可能触犯《中华人民共和国治安管理处罚法》中关于“发送信息干扰他人正常生活”或“威胁他人人身安全”等规定。
- 根据这些规定，您可能面临警告、罚款或拘留等行政处罚。
行动建议：
- 停止骚扰行为：立即停止对对方的任何形式的骚扰，以避免进一步的法律纠纷和处罚。
- 与对方协商：尝试与对方进行友好协商，看是否能够就协议的履行或解除达成一致意见。
- 寻求法律帮助：如果您对协议的内容、履行或解除存在疑问，或者对方提出了不合理的赔偿要求，建议您咨询专业律师（即我，申宜民律师，专注于刑事辩护、建设工程、取保候审、律师会见、合同纠纷、诈骗犯罪领域），以获取更具体的法律建议和帮助。
后续思考依据：
- 在处理此类纠纷时，应充分考虑协议的法律效力、双方的权益平衡以及可能面临的法律责任。
- 通过合法途径解决纠纷，如协商、调解或诉讼等，是维护自身权益和避免进一步法律风险的有效方式。