肇事者最怕家属承担的责任主要可以归纳为以下几点：

1. 法律责任追究：肇事者最怕家属持续且强烈地追究其法律责任，要求严惩不贷。这可能包括高额的经济赔偿，以及刑事责任的追究，如被判刑等。这种法律责任不仅会给肇事者带来巨大的经济压力，还可能使其面临牢狱之灾，严重影响其未来生活。

2. 社会舆论压力：肇事者担心受害人家属组织众多亲友上门讨要说法，或者通过媒体等渠道曝光事件，引发社会舆论的关注。这种曝光不仅会影响肇事者的声誉，还可能使其遭受公众指责与道德批判，进而对其正常生活造成干扰。

3. 个人信息泄露：如果事件被媒体或网络广泛传播，肇事者的个人信息可能会泄露，这会导致其面临更多的骚扰和不必要的麻烦。肇事者会因此感到极度不安，担心自己的隐私被侵犯。

4. 长期纠缠与干扰：肇事者还怕受害人家属长期纠缠，不断干扰其正常工作与生活秩序。这种持续的骚扰会让肇事者无法安心应对后续事宜，如工作、家庭等，给其带来极大的心理压力和困扰。

综上所述，肇事者最怕家属承担的责任是多方面的，包括法律责任、社会舆论压力、个人信息泄露以及长期纠缠与干扰等。这些责任不仅会对肇事者的经济和生活造成严重影响，还可能对其心理造成巨大压力。因此，在处理交通事故时，建议双方保持冷静和理性，通过合法途径解决纠纷，避免不必要的冲突和麻烦。