不可以仅因物业骚扰业主家人就不交物业费，但业主可依法维权并要求减免物业费或赔偿损失。以下从不同角度进行分析：
物业费缴纳的法定义务
根据《物业管理条例》及相关法律法规，业主有按时缴纳物业费的法定义务。物业费是用于维护小区公共设施、提供物业服务的重要资金来源，业主不得以非法定理由拒缴物业费。若业主无正当理由拒缴物业费，物业有权通过法律途径追讨，并可能要求业主承担滞纳金等额外费用。
物业骚扰行为的性质与应对
骚扰行为的性质：
- 若物业通过频繁电话、上门骚扰、威胁、恐吓等手段干扰业主及其家人的正常生活，这种行为可能构成侵权，侵犯了业主及其家人的隐私权、安宁权等合法权益。
应对措施：
- 收集证据：业主应首先收集物业骚扰行为的证据，如通话记录、短信、视频、音频等，以证明物业的侵权行为。
- 协商解决：业主可以尝试与物业进行协商，要求物业停止骚扰行为，并就物业费缴纳问题进行友好沟通。
- 投诉举报：若协商无果，业主可以向当地物业管理部门、社区居委会或相关政府部门投诉举报物业的侵权行为。
- 法律途径：若物业的骚扰行为严重，且协商、投诉均无果，业主可以通过法律途径维护自身权益，如提起民事诉讼，要求物业停止侵权、赔偿损失等。
物业费减免或赔偿的可能性
物业费减免：
- 若物业的骚扰行为严重影响了业主的正常生活，且业主能够证明这种影响与物业费缴纳之间存在直接关联，业主可以在与物业协商或通过法律途径解决时，要求减免部分或全部物业费。但这一要求需基于充分的证据和合理的理由，并非随意可提。
赔偿损失：
- 若物业的骚扰行为给业主及其家人造成了实际损失（如精神损害、财产损失等），业主有权要求物业进行赔偿。赔偿金额应根据实际损失情况、物业的过错程度等因素综合确定。
实际操作建议
- 保持冷静与理性：面对物业的骚扰行为，业主应保持冷静与理性，避免采取过激行为或言语冲突，以免加剧矛盾。
- 及时寻求帮助：若业主感到无法独自应对物业的骚扰行为，应及时寻求家人、朋友或专业律师的帮助，共同维护自身权益。
- 依法维权：业主应依法维权，通过合法途径解决与物业之间的纠纷，避免采取非法手段或暴力行为。
总结来说，虽然物业的骚扰行为不可接受，但业主不能仅凭此理由拒缴物业费。业主应依法维权，通过收集证据、协商解决、投诉举报或法律途径等方式维护自身权益，并可根据实际情况要求减免物业费或赔偿损失。若您在此方面遇到具体问题，可直接向我咨询。