一般情况下，他人未经法定程序或您的明确授权，无权随意调取您的家庭资料，这种行为是不被允许的。以下从几个不同角度为你详细分析：

1. 从公民个人信息保护角度 根据我国相关法律法规，公民的个人信息受法律严格保护，家庭资料属于个人信息的范畴。任何组织或者个人需要获取他人个人信息的，应当依法取得并确保信息安全，不得非法收集、使用、加工、传输他人个人信息，不得非法买卖、提供或者公开他人个人信息。

如果打电话的人没有合法的依据，比如没有法院的调查令、公安机关的合法手续，也没有得到你本人的书面同意等，那么他声称要调取你的家庭资料就是违法的行为，你有权拒绝并可以向相关部门举报。

1. 从可能的合法调取情形角度

   • 司法机关：在刑事诉讼、民事诉讼等司法程序中，法院、检察院、公安机关等司法机关为了查明案件事实，可能会依法调取公民的家庭资料等相关信息。但这种情况下，司法机关会有正式的法律文书，如调查令、协助查询通知书等，并且会按照法定程序进行调取。
   • 行政机关：某些行政机关在履行行政管理职责时，也可能需要调取公民的家庭资料，但同样必须基于法律、行政法规的明确授权，并遵循严格的法定程序。例如，民政部门在办理社会救助、婚姻登记等业务时，可能会依法收集和调取相关家庭信息。

2. 从应对措施角度

   • 核实对方身份：当接到此类电话时，首先要保持冷静，要求对方说明自己的身份、所属单位以及调取家庭资料的具体目的和法律依据。如果对方拒绝提供或者含糊其辞，那么很可能存在不合法的情况。
   • 拒绝提供信息：在确认对方没有合法依据的情况下，明确拒绝对方调取家庭资料的要求。同时，告知对方其行为可能涉嫌违法，要求其停止此类行为。
   • 保留证据并举报：如果对方继续纠缠或者存在威胁、骚扰等行为，要注意保留相关证据，如通话记录、短信、录音等。然后向当地公安机关报案，或者向相关的行业主管部门进行举报，以维护自己的合法权益。

如果你后续遇到类似情况还有疑问，或者有其他法律问题，都可以直接向我咨询。