结论：针对您描述的情况，若对方违约合同，您有权追讨债务，但催债过程中需注意方式方法，避免构成骚扰。若对方声称被骚扰，您应首先确认催债行为的合法性，并考虑通过合法途径解决纠纷。以下是对此问题的详细分析：
一、催债行为的合法性分析
合法催债：
- 当对方违约合同且未履行还款义务时，您有权通过合法途径追讨债务。这包括直接与对方沟通、发送催款通知、通过法律途径提起诉讼等。
- 在催债过程中，您应保持冷静和理性，避免使用威胁、恐吓或侮辱性语言，以免触犯法律。
可能构成骚扰的情形：
- 若您或他人频繁打电话、发短信、上门骚扰对方，且对方已明确表示不愿接收此类信息或接触，则可能构成对对方生活安宁的侵犯，即骚扰。
- 骚扰行为可能违反《中华人民共和国治安管理处罚法》等相关法律法规，对方有权向公安机关报案或寻求法律救济。
二、应对对方声称被骚扰的建议
确认催债行为的合法性：
- 回顾您的催债过程，确认是否采取了合法、合理的方式。若您认为自己的行为并未构成骚扰，可以向对方解释清楚，并展示相关证据（如催款通知、聊天记录等）。
停止不当行为：
- 若您意识到自己的催债行为可能给对方造成了困扰或不适，应立即停止此类行为，并考虑通过更温和、合法的方式与对方沟通。
通过法律途径解决纠纷：
- 若对方坚持认为您构成骚扰，并拒绝还款或协商，您可以考虑通过法律途径解决纠纷。这包括向法院提起诉讼，要求对方履行合同义务并赔偿损失。
- 在诉讼过程中，您需要提供充分的证据证明对方违约且未履行还款义务，以及您的催债行为并未构成骚扰。
三、预防类似纠纷的建议
完善合同条款：
- 在签订合同时，应明确约定双方的权利和义务，包括还款期限、方式、违约责任等。这有助于在发生纠纷时提供明确的法律依据。
保留证据：
- 在催债过程中，应保留好相关证据，如催款通知、聊天记录、转账记录等。这些证据在后续的法律纠纷中可能起到关键作用。
寻求专业法律帮助：
- 若您对催债过程或法律纠纷处理感到困惑或不安，可以寻求专业律师的帮助。律师可以为您提供法律咨询、起草法律文件、代理诉讼等服务，帮助您更好地维护自己的合法权益。
最后，若您在处理此类纠纷过程中遇到任何问题或需要进一步的法律帮助，请随时向我咨询。作为专注于合同纠纷、婚姻家庭领域的专业律师，我将竭诚为您提供全面、准确的法律解答和建议。