结论：在有借条且委托他人解决债务问题的情况下，如果对方骚扰你并给你的家人打电话，你是可以采取法律手段维护自己权益的，具体可从以下角度分析：

1. 对方行为可能构成侵权：

   • 法律依据：根据《中华人民共和国民法典》的相关规定，自然人享有隐私权，任何组织或者个人不得以刺探、侵扰、泄露、公开等方式侵害他人的隐私权。同时，自然人享有名誉权，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。
   • 行为分析：对方在催收债务的过程中，如果通过频繁打电话、发短信等方式骚扰你及你的家人，甚至泄露你的个人信息或进行侮辱、诽谤等行为，就可能构成对你隐私权和名誉权的侵害。

2. 你可以采取的法律措施：

   • 报警处理：如果对方的行为已经严重影响到你及你家人的正常生活，你可以向公安机关报案，要求公安机关依法处理。公安机关会根据具体情况，对对方进行警告、罚款或拘留等处罚。
   • 提起民事诉讼：如果对方的行为给你造成了精神损害或其他经济损失，你可以向人民法院提起民事诉讼，要求对方承担侵权责任，包括停止侵害、赔礼道歉、赔偿损失等。
   • 向相关部门投诉：如果对方是金融机构或催收公司，你还可以向相关监管部门投诉，要求其规范催收行为，保护你的合法权益。

3. 关于借条和委托处理债务的问题：

   • 借条的效力：借条是证明借贷关系存在的重要证据，只要借条内容合法、真实，且双方意思表示真实，借条就具有法律效力。
   • 委托处理债务：你委托他人处理债务问题，并不影响你作为债权人的地位和权利。如果对方在催收过程中存在违法行为，你仍然有权采取法律手段维护自己的权益。

建议：

• 在处理此类问题时，建议你保留好相关证据，如通话记录、短信记录、录音录像等，以便在需要时提供证明。
• 如果对方的行为已经构成犯罪，如非法侵入住宅、敲诈勒索等，你应及时向公安机关报案，并配合公安机关的调查工作。
• 在处理债务问题时，建议你尽量通过合法途径解决，避免采取过激行为或非法手段，以免给自己带来不必要的法律风险。

如果你有任何进一步的法律问题或需要进一步的法律帮助，请直接向我咨询，我会根据你的具体情况提供专业的法律意见。