在撞到人刚开始只是骨折但后续死亡的情况下，责任归属需根据具体情形来判断，一般可能涉及交通事故责任与刑事责任（如交通肇事罪）的认定。以下从不同角度进行分析：
一、交通事故责任认定
事故责任划分：
- 根据《中华人民共和国道路交通安全法》及相关实施条例，交通事故责任主要依据当事人的行为对发生事故所起的作用以及过错的严重程度来划分。
- 如果驾驶员在事故中存在违规行为（如超速、酒驾、未按规定让行等），且这些行为与受害人的骨折及后续死亡有直接因果关系，那么驾驶员很可能承担主要或全部责任。
- 如果受害人自身也存在过错（如突然横穿马路、未走人行横道等），则可能减轻驾驶员的责任。
因果关系判断：
- 需要明确受害人的死亡是否直接由交通事故导致的骨折引起，还是存在其他介入因素（如医疗事故、受害人自身疾病等）。
- 如果死亡结果与交通事故有直接因果关系，那么驾驶员的责任将相应加重；如果存在其他介入因素，则需要根据具体情况来划分责任。
二、刑事责任认定（如构成交通肇事罪）
构成要件：
- 根据《中华人民共和国刑法》第一百三十三条，交通肇事罪是指违反交通运输管理法规，因而发生重大事故，致人重伤、死亡或者使公私财产遭受重大损失的行为。
- 如果驾驶员的行为构成交通肇事罪，那么除了承担民事赔偿责任外，还可能面临刑事处罚。
量刑情节：
- 量刑时会考虑事故的具体情节、驾驶员的过错程度、是否逃逸、是否自首、是否积极赔偿等因素。
- 如果驾驶员在事故后积极救治受害人、配合调查、主动赔偿损失等，可能从轻或减轻处罚；反之，如果逃逸或拒不赔偿，则可能加重处罚。
三、具体建议
立即报警并保护现场：
- 发生事故后，驾驶员应立即报警并保护现场，等待交警到来进行事故调查和责任认定。
积极救治受害人：
- 驾驶员应积极协助救治受害人，尽最大努力减少损失和后果。
配合调查并保留证据：
- 驾驶员应配合交警的调查工作，如实陈述事故经过，并保留好相关证据（如行车记录仪视频、现场照片等）。
咨询专业律师：
- 在处理此类复杂案件时，建议驾驶员及时咨询专业律师，以便更好地了解自己的权利和义务，以及可能面临的法律责任。你有任何疑问或需要进一步的法律帮助，可以直接向我咨询，我会根据你的具体情况提供详细的法律建议。
综上所述，撞到人刚开始只是骨折但后续死亡的责任归属需根据具体情形来判断。在处理此类案件时，应综合考虑事故责任划分、因果关系判断以及刑事责任认定等因素，并遵循相关法律法规和程序进行处理。