当家人被打却没有直接证据时，这确实是一个棘手的问题，但不必过于担心，因为还是有一些途径可以尝试去解决这个问题。以下是一些具体的建议：

首先，立即报警是至关重要的第一步。警方会展开专业的调查，包括询问双方当事人、现场目击证人，以及调取事发地的监控录像等。即使当前没有直接证据，警方的调查记录也可能成为日后追查和认定事实的重要线索。

其次，尽快就医并保留相关医疗资料。让受伤的家人前往医院进行全面检查，并妥善保存诊断证明、病历、检查报告等医疗文件。这些资料不仅能证明家人的受伤情况，还能与被打事件建立可能的关联性。

同时，鼓励家人回忆并记录事件经过。尽可能详细地回忆并记录事件发生的时间、地点、对方特征以及任何可能的细节。这些信息对于后续的调查和取证工作至关重要。

此外，积极寻找目击证人也是关键。如果现场有其他人目睹了被打过程，尝试与他们取得联系，并说服他们提供证人证言。证人的陈述在很大程度上能够支持你的诉求。

如果条件允许，查看并保存监控视频。检查事发地周边是否有监控设备，如街道、店铺、小区的监控等。及时与相关管理部门联系，查看并保存可能记录事件经过的监控视频。这是非常有力的间接证据。

最后，如果经过上述努力仍然证据不足，可以考虑提起民事诉讼。在民事诉讼中，法院会根据双方提供的证据及调查情况进行裁决。虽然证据不足可能会增加诉讼的难度，但并非没有胜诉的可能。在此过程中，建议咨询专业律师以获取更具体的法律建议和支持。

综上所述，即使家人被打且没有直接证据，也不要轻易放弃。通过报警、就医、回忆记录、寻找证人、查看监控以及提起民事诉讼等途径，我们仍然有可能为家人讨回公道。