结论：有人骗走您家的家庭住址，并不一定会直接导致您的人身安全遭到威胁，但确实存在潜在的风险，需要您提高警惕并采取相应的防范措施。以下从多个角度为您详细分析：
潜在风险的存在：
- 家庭住址是个人隐私信息的重要组成部分，一旦泄露，可能会被不法分子利用。例如，不法分子可能通过家庭住址找到您的住所，进而实施盗窃、抢劫等犯罪行为，或者进行骚扰、恐吓等不法活动。
- 特别是当骗取家庭住址的人与您有矛盾或恶意时，他们可能利用这一信息对您进行报复或威胁，从而对您的人身安全构成直接威胁。
风险程度的影响因素：
- 骗取信息者的动机：如果骗取信息者是出于恶意或犯罪目的，那么您面临的风险将相对较高。相反，如果对方只是出于好奇或无意中获取了您的信息，那么风险可能相对较低。
- 您的个人情况：您的职业、社会地位、经济状况等个人因素也可能影响风险程度。例如，如果您是一位知名人士或拥有大量财富，那么您可能更容易成为不法分子的目标。
- 居住环境的安全性：您居住的社区治安状况、周边监控设施等也会影响您面临的风险。一个治安良好的社区和完善的监控设施可以降低您遭受不法侵害的可能性。
应对措施与建议：
- 加强个人信息保护：在日常生活中，要注意保护个人隐私信息，不要轻易将家庭住址、电话号码等敏感信息透露给陌生人。
- 提高警惕性：对于不明来源的询问或请求，要保持警惕，不要轻易相信或回应。如果发现有人试图骗取您的个人信息，要及时报警或向相关部门求助。
- 加强家庭安全防范：可以安装防盗门、监控摄像头等安全设备，提高家庭的安全防范水平。同时，也可以考虑加入社区的治安巡逻队或邻里守望组织，共同维护社区的安全。
- 及时寻求法律帮助：如果您发现有人利用您的家庭住址进行不法活动或对您进行威胁、骚扰等行为，要及时向公安机关报案，并寻求法律帮助。作为专业律师，我可以为您提供相关的法律咨询和援助，帮助您维护自己的合法权益。
总结与进一步思考：虽然有人骗走您家的家庭住址并不一定会直接导致您的人身安全遭到威胁，但确实存在潜在的风险。因此，您需要提高警惕并采取相应的防范措施来保护自己和家人的安全。如果您有任何法律疑问或需要进一步的帮助，请随时向我咨询。