受害家属在交通事故认定书下来后认为不公正，拒绝签字，下一步不可以不复核而直接向法院起诉。以下是对此问题的详细分析：

一、交通事故认定书的性质与效力

交通事故认定书是公安机关交通管理部门根据交通事故现场勘验、检查、调查情况和有关的检验、鉴定结论，及时制作的作为处理交通事故证据的文书。它对于确定交通事故的责任方、划分责任比例以及后续的赔偿处理等都具有重要的法律意义。然而，交通事故认定书并非终局性裁决，它只是一种证据，当事人对交通事故认定有异议的，有权提出复核申请。

二、拒绝签字的法律后果

拒绝在交通事故认定书上签字，并不意味着该认定书无效或不能作为证据使用。根据相关法律规定，当事人拒绝签字的，不影响交通事故认定书的效力。公安机关交通管理部门仍然会将交通事故认定书送达当事人，并告知其有权在法定期限内提出复核申请。

三、复核申请的重要性与流程

1. 重要性：复核申请是当事人对交通事故认定有异议时的一种重要救济途径。通过复核，上级公安机关交通管理部门可以对原认定进行审查，并作出是否变更的裁定。这有助于纠正可能存在的认定错误，保障当事人的合法权益。

2. 流程：

   • 提出时间：当事人应在收到交通事故认定书之日起三日内提出复核申请。
   • 提出方式：通常应以书面形式提出，并说明复核请求及其理由和主要证据。
   • 审查与裁定：上级公安机关交通管理部门在收到复核申请后，会进行审查，并在三十日内作出复核结论。

四、直接向法院起诉的不可行性

在交通事故认定书下来后，如果受害家属认为不公正并拒绝签字，但未按照法定程序提出复核申请，而直接向法院起诉，法院通常不会直接受理或推翻交通事故认定书。因为交通事故认定书作为公安机关交通管理部门依法作出的行政文书，具有较高的证据效力。在未经复核程序的情况下，法院一般不会直接对其进行审查或推翻。

五、建议与措施

1. 及时提出复核申请：如果受害家属对交通事故认定有异议，应在法定期限内及时提出复核申请，以维护自己的合法权益。

2. 收集证据：在提出复核申请的同时，受害家属应积极收集相关证据，如现场照片、视频资料、证人证言等，以支持自己的复核请求。

3. 咨询专业律师：如果受害家属对复核程序或相关法律问题存在疑问，可以咨询专业律师以获取更详细的法律建议和指导。

如果有任何法律问题，特别是涉及经济纠纷、刑事辩护、交通事故领域的，可以直接向我咨询。我会根据你的具体情况，提供专业、全面的法律建议。