结论：是否需要负责取决于具体情况，包括事故发生时的实际情况、你的行为以及后续的法律程序等。以下从不同角度为你详细分析：
一、事故发生时的实际情况
对方伤势的初步判断：
- 如果在事故发生时，对方确实表示自己没有受伤，且从外观上看也没有明显的伤势，这可能在一定程度上减轻你的责任。然而，这并不意味着你可以完全免责，因为有些伤势可能不会立即显现，特别是内脏损伤或脑震荡等。
你的观察与判断：
- 作为驾驶员，你有责任在事故发生后仔细观察对方的状况，并询问其是否需要医疗救助。如果你仅凭对方的口头表述就轻易离开现场，而没有进行进一步的观察和确认，这可能会被视为疏忽大意。
二、你的行为
是否履行了救助义务：
- 根据《中华人民共和国道路交通安全法》的相关规定，发生交通事故后，驾驶员有义务立即停车，保护现场，并抢救受伤人员。如果你在对方表示“没事”后就直接离开，而没有履行这些义务，你可能会因此承担法律责任。
是否报警并等待交警处理：
- 无论事故大小，报警并等待交警处理都是明智之举。交警会进行现场勘查，记录事故情况，并出具事故责任认定书。如果你未报警就离开现场，这可能会对你的责任认定产生不利影响。
三、后续的法律程序
对方死亡的原因：
- 如果对方死亡是由于事故直接导致的，即使当时对方表示“没事”，你也可能需要承担相应的法律责任。因为事故的责任认定不仅仅基于当事人的主观表述，还取决于事故的实际后果和因果关系。
法律责任的认定：
- 在交通事故中，法律责任的认定通常考虑多个因素，包括事故双方的过错程度、事故后果的严重性等。如果交警部门认定你在事故中存在过错，且这种过错与对方的死亡有因果关系，那么你可能需要承担刑事责任（如交通肇事罪）和民事责任（如赔偿损失）。
四、建议与措施
立即报警并配合调查：
- 如果你遇到类似情况，应立即报警并配合交警部门的调查。不要试图逃避责任或隐瞒事实真相，这只会让事情变得更加复杂和棘手。
保留相关证据：
- 在事故发生后，尽量保留与事故相关的所有证据，如现场照片、视频、证人证言等。这些证据可能在后续的法律程序中发挥重要作用。
咨询专业律师：
- 鉴于交通事故赔偿和法律责任认定的复杂性，我建议你咨询专业律师以获取更具体的法律建议。作为专注于交通事故赔偿领域的律师，我可以为你提供全面的法律咨询和代理服务。
最后，交通事故的责任认定是一个复杂而严肃的过程，需要综合考虑多个因素。如果你遇到类似情况，请务必保持冷静，立即报警并配合调查，同时咨询专业律师以获取法律帮助。如果你有任何疑问或需要进一步的法律咨询，请随时向我提问。