不能仅因家人不知道下落就判为诈骗窝点人员。诈骗案的认定需要满足多个条件，包括客体为公私财物所有权、客观上用欺诈手段骗取数额较大财物、主体为具备刑事责任能力的自然人、主观上有直接故意及非法占有目的。具体来说：

1. 欺骗行为：必须存在虚构事实、隐瞒真相等欺诈手段，使受害人产生错误认识，并因此处分其财物。
2. 故意：诈骗行为人必须明知自己的行为会发生危害社会的结果，并且希望这种结果发生。
3. 被害人处分财物：受害人因为受到欺诈而自愿处分其财物。
4. 行为人获利：诈骗行为人通过欺诈手段获得了受害人的财物，并且具有非法占有的目的。

家人不知道下落，并不能直接证明其参与了诈骗行为，也不能证明其具有非法占有的目的。因此，不能仅凭此一点就判为诈骗窝点人员。如果家人确实下落不明，并且与诈骗案件有关联，也需要通过详细的调查和证据收集来确定其是否参与了诈骗行为，以及其在诈骗案件中的具体角色和责任。

如果你或你的家人面临类似的情况，建议尽快咨询专业律师，以便更准确地了解法律程序和权益保护。