结论：面对到家里进行诈骗的人，您不能直接打他。采取暴力行为可能会使您从受害者转变为加害者，承担相应的法律责任。

详细分析：

1. 法律对正当防卫的规定：

   • 根据我国《刑法》的相关规定，正当防卫是指为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为。但正当防卫必须满足一定的条件，如不法侵害必须正在进行、防卫行为必须针对不法侵害人本人、防卫行为必须适度等。
   • 在您描述的情境中，虽然诈骗行为是不法的，但直接打人可能超出了正当防卫的适度范围，尤其是如果诈骗行为并未直接威胁到您的人身安全时。

2. 暴力行为的法律后果：

   • 如果您采取暴力行为对待诈骗者，即使您认为这是出于自卫或愤怒，也可能构成故意伤害罪或其他相关犯罪，具体取决于伤害的程度和情节。
   • 法律对暴力行为有严格的惩罚规定，旨在保护每个人的生命权和健康权不受侵犯。

3. 应对诈骗的正确方式：

   • 面对诈骗行为，您应该首先保持冷静，不要轻信诈骗者的话术。
   • 立即报警，让警方来处理这一不法行为。警方有专业的手段和资源来调查和处理诈骗案件。
   • 如果可能的话，尽量收集并保留与诈骗行为相关的证据，如聊天记录、转账记录、诈骗者的联系方式等，以便警方调查时使用。

4. 特殊情况下的防卫：

   • 如果诈骗行为同时伴随着对您的人身安全构成直接威胁的暴力行为（如持刀威胁、捆绑等），那么您有权采取必要的防卫措施来保护自己。但即使在这种情况下，防卫行为也应当适度，避免造成不必要的伤害。

建议：

• 面对诈骗行为，最重要的是保持冷静和理智，不要采取过激的行动。
• 立即报警并配合警方的调查工作，这是最有效且合法的应对方式。
• 如果您对法律程序或防卫行为有疑问，可以随时向我咨询，我会根据您的具体情况提供专业的法律建议。

总之，面对到家里进行诈骗的人，您不能直接打他。采取合法且适当的措施来保护自己和财产安全才是最重要的。