结论：面对精神病人的骚扰，是否要搬走或换手机号码并非绝对必要，需根据骚扰的严重程度、频率及对生活的影响来综合判断。以下是从不同角度给出的分析和建议：

1. 法律角度分析：

   • 人格权保护：根据《中华人民共和国民法典》中关于人格权的规定，每个人都享有生命权、身体权、健康权、姓名权、名称权、肖像权、名誉权、荣誉权、隐私权等权利。若精神病人的骚扰行为侵犯了您的人格权，如造成名誉损害、隐私泄露等，您有权要求侵权人停止侵害、恢复名誉、消除影响、赔礼道歉，并可以要求赔偿损失。
   • 报警处理：若骚扰行为严重，如频繁骚扰、威胁、恐吓等，您应及时向公安机关报案。公安机关会根据具体情况，对精神病人进行必要的管控或治疗，以保护您的合法权益。

2. 实际应对措施：

   • 评估骚扰程度：首先，您需要评估骚扰的严重程度和频率。如果骚扰只是偶尔发生，且程度较轻，可能不需要采取极端措施如搬走或换手机号码。
   • 加强安全防范：您可以考虑加强居住地的安全防范措施，如安装防盗门、监控摄像头等，以增加自身的安全感。
   • 与骚扰者家属沟通：如果可能的话，您可以尝试与精神病人的家属进行沟通，说明情况并请求他们协助管理精神病人的行为。
   • 考虑搬走或换手机号码：如果骚扰行为持续不断，且严重影响了您的正常生活和工作，那么搬走或换手机号码可能是一个合理的选择。但在做出决定前，请务必权衡利弊，考虑新环境的适应性、成本等因素。

3. 心理调适与支持：

   • 寻求心理支持：面对持续的骚扰，您可能会感到焦虑、恐惧或无助。这时，寻求专业的心理支持或咨询是非常重要的。心理专家可以帮助您调整心态，增强应对困难的能力。
   • 加入支持团体：您还可以考虑加入相关的支持团体或社区，与其他有类似经历的人分享经验、互相支持。

后续行动建议：

• 如果骚扰行为持续且严重，建议您立即报警并保留相关证据，如骚扰信息、通话记录等，以便后续维权。
• 在考虑搬走或换手机号码前，请务必评估新环境的适应性和成本，确保这一决定是合理且可行的。
• 不要忽视自己的心理健康，及时寻求心理支持或咨询，以帮助自己更好地应对这一挑战。

如有任何法律疑问或需要进一步的帮助，请随时向我咨询。