结论：对方去您家里面骚扰老人是不合法的行为，这可能侵犯了您及家人的合法权益，包括隐私权、住宅安宁权等。

详细分析：

1. 住宅安宁权：

   • 根据《中华人民共和国民法典》的相关规定，自然人的住宅不受侵犯。禁止非法搜查或者非法侵入公民的住宅。对方未经允许进入您家中骚扰老人，显然侵犯了您的住宅安宁权。

2. 隐私权：

   • 隐私权是公民的重要权利之一，包括个人生活安宁与私人信息秘密等。对方到家中骚扰老人，可能涉及泄露或侵犯您的私人生活信息，从而侵犯了您的隐私权。

3. 可能的法律后果：

   • 如果对方的行为构成非法侵入住宅或侵犯隐私权，您有权向公安机关报案，要求对方承担相应的法律责任。根据情节的轻重，对方可能面临警告、罚款、拘留等行政处罚，甚至可能构成犯罪，需要承担刑事责任。

4. 应对建议：

   • 保留证据：首先，要尽可能保留对方骚扰的证据，如录音、录像、照片等，以便在需要时向公安机关提供。
   • 及时报警：一旦发现对方有骚扰行为，应立即向当地公安机关报案，说明情况并提供相关证据。
   • 寻求法律帮助：如果对方的行为给您或家人造成了实际损害，您可以考虑寻求法律帮助，通过诉讼等方式维护自己的合法权益。

5. 特殊情况考虑：

   • 如果老人因对方的骚扰行为受到惊吓或伤害，您还应及时带老人就医，并保留好相关的医疗记录作为证据。
   • 如果对方持续骚扰，您还可以考虑向法院申请禁止令，要求对方停止骚扰行为。

后续行动建议：

• 在处理此类问题时，请保持冷静，不要与对方发生直接冲突，以免事态升级。
• 及时与家人沟通，确保他们了解情况并知道如何应对。
• 如有需要，随时向我咨询，我会根据您的具体情况提供更详细的法律建议。

总之，对方去您家里面骚扰老人是不合法的行为，您有权采取措施保护自己和家人的合法权益。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。