被诈骗后，通常不能直接找诈骗者的家人要求赔偿或退还财物。以下从法律角度进行详细分析：

一、法律责任主体

1. 个人责任原则：在法律上，每个人都应当对自己的行为负责。诈骗行为是诈骗者个人实施的违法犯罪行为，其法律后果应由诈骗者本人承担，包括退还诈骗所得财物、接受刑事处罚等。
2. 家人无直接责任：除非诈骗者的家人直接参与了诈骗行为，如协助诈骗、隐藏诈骗所得等，否则他们无需对诈骗者的行为承担法律责任。家人没有法定的义务去退还诈骗者的违法所得。

二、特殊情况下的家人责任

1. 未成年人诈骗：如果诈骗者是未成年人，那么其监护人（通常是家人）可能需要承担一定的民事赔偿责任。这是因为未成年人在法律上被视为无民事行为能力人或限制民事行为能力人，其监护人需要对其行为进行监督和管理。
2. 家人参与诈骗：如果诈骗者的家人直接参与了诈骗行为，如提供帮助、隐藏证据等，那么他们可能构成共同犯罪或其他违法行为，需要依法承担相应的法律责任。

三、合法维权途径

1. 及时报案：一旦遭遇诈骗，应立即向公安机关报案。公安机关会依法展开侦查工作，追查诈骗者的下落，并尽力追回被骗的财物。
2. 附带民事诉讼：在刑事诉讼过程中，被害人可以提起附带民事诉讼，要求诈骗者退赔被骗的财物。如果法院判决诈骗者退赔，但诈骗者拒不执行，被害人可以申请强制执行其个人财产。
3. 追缴赃款赃物：如果诈骗所得财物被转移到诈骗者的家人处，且家人明知是赃款赃物而接受，司法机关有权依法追缴这部分财物。但这一过程需要通过司法程序进行，不能由被害人直接向诈骗者的家人要求退还。

四、建议与防范措施

1. 提高警惕：公众应提高警惕，加强个人信息保护，避免泄露敏感信息，如银行账户、密码等。
2. 谨慎交易：在进行交易时，应仔细核实对方身份和交易信息，避免上当受骗。
3. 及时求助：一旦发现被骗，应立即向公安机关报案，并寻求法律帮助。

举例说明：假设甲被乙诈骗了一笔钱财。甲不能直接找乙的家人要求退还财物，因为乙的家人没有法定的退赃义务。但是，如果乙将诈骗所得财物转移到其父母处，且其父母明知是赃款而接受，那么司法机关有权依法追缴这部分财物。此外，甲可以在刑事诉讼过程中提起附带民事诉讼，要求乙退赔被骗的财物。

总之，被诈骗后不能直接找诈骗者的家人要求赔偿或退还财物。应通过合法途径维护自己的权益。如果有任何法律问题或需要进一步的法律帮助，请直接向我咨询。