别人说你的家人打他，并不直接构成犯法，但需要具体分析情况。

1. 如果确实存在打人行为：

   • 若你的家人确实打了对方，且造成了对方身体伤害或精神损害，那么根据《中华人民共和国民法典》的相关规定，你的家人可能需要承担民事赔偿责任，赔偿对方因此遭受的损失，包括医疗费、误工费、精神损害抚慰金等。
   • 若打人行为严重，构成轻伤或重伤，那么你的家人可能涉嫌故意伤害罪，需要承担刑事责任。此时，公安机关会介入调查，并根据事实情况依法处理。

2. 如果并不存在打人行为：

   • 若对方只是无端指责或诽谤你的家人，而你的家人并未实施任何打人行为，那么你的家人无需承担任何法律责任。相反，如果对方的行为构成了诽谤或名誉侵权，你的家人还可以依法追究对方的法律责任。

3. 建议与措施：

   • 首先，建议你的家人保持冷静，不要与对方发生进一步的冲突。
   • 其次，可以收集相关证据，如监控录像、证人证言等，以证明你的家人是否实施了打人行为。
   • 如果确实存在纠纷或争议，可以寻求第三方调解或协商解决，避免事态进一步恶化。
   • 如果对方坚持指控，且情况严重，建议你的家人及时咨询专业律师，以便更好地维护自己的合法权益。

总之，是否犯法需要根据具体情况来判断。如果你的家人并未实施打人行为，那么无需担心法律责任问题；如果确实存在打人行为，那么需要根据相关法律法规来承担相应的责任。