结论：知道他人家庭住址本身并不直接构成侵犯隐私权，但未经他人同意擅自公开或利用该住址信息，则可能构成对隐私权的侵犯。
一、隐私权的法律定义与保护范围
根据《中华人民共和国民法典》第一千零三十二条的规定，隐私权是自然人享有的私人生活安宁与不愿为他人知晓的私密空间、私密活动、私密信息等依法受到保护，不受他人刺探、侵扰、泄露、公开的权利。家庭住址作为个人私密信息的重要组成部分，受到法律的严格保护。
二、知道他人住址与侵犯隐私权的界限
单纯知晓住址：
- 仅仅知道他人的家庭住址，并未进行任何公开、泄露或利用该信息的行为，通常不构成对隐私权的侵犯。因为隐私权的侵犯通常涉及信息的非法公开或不当使用。
擅自公开住址：
- 未经他人同意，擅自公开其家庭住址，会干扰其正常生活秩序，可能导致不必要的困扰、骚扰甚至安全威胁。这种行为违反了民法典关于隐私权保护的规定，构成对隐私权的侵犯。
- 擅自公开他人住址还可能触犯《中华人民共和国刑法》和《中华人民共和国治安管理处罚法》的相关规定，根据情节轻重，行为人可能需要承担民事责任、行政责任甚至刑事责任。
利用住址进行不当行为：
- 如果利用他人的家庭住址进行骚扰、威胁、侵入等不当行为，不仅构成对隐私权的侵犯，还可能涉及其他违法行为，如非法侵入住宅罪、寻衅滋事罪等。
三、特殊情况下的合法性
- 公共利益需要：在司法程序中，为了送达法律文书等必要的司法活动，或者涉及公共安全、公共卫生等重大公共利益问题，且公布住址对于保障公共利益是必要且合理的，经过法定程序和审批，可以公布相关人员的住址。
- 当事人同意：如果得到了当事人的明确同意，公开或利用其家庭住址则不构成侵犯隐私权。例如，在商业活动或个人宣传中，当事人为了达到某种目的，自愿公开自己的住址。
四、法律责任与后果
- 民事责任：侵犯隐私权的行为人需承担停止侵害、消除影响、赔礼道歉及赔偿损失等民事责任。
- 行政责任：依据《中华人民共和国治安管理处罚法》，偷窥、偷拍、窃听、散布他人隐私的行为可处拘留或罚款。
- 刑事责任：若利用他人住址进行严重违法行为，如非法侵入住宅、寻衅滋事等，行为人可能面临刑事处罚。
五、建议与措施
- 保护个人隐私：个人应增强隐私保护意识，不轻易向他人透露自己的家庭住址等敏感信息。
- 合法使用信息：任何组织或个人在获取、使用他人个人信息时，应遵循合法、正当、必要的原则，尊重并保护他人的隐私权。
- 及时维权：如果发现自己的隐私权受到侵犯，应及时收集证据并寻求法律帮助，通过法律途径维护自己的合法权益。
如有任何关于隐私权保护或其他法律问题的疑问，可以直接向我咨询。