结论：对方没撞到自己也没受伤，但回去后死亡，责任归属需根据具体情况判断，可能涉及多种法律关系和责任主体。以下从不同角度进行分析：
一、可能涉及的法律关系及责任主体
因果关系角度：
- 直接因果关系：若对方的死亡与你的行为之间存在直接因果关系（例如，你的行为导致对方受到惊吓，进而引发心脏病发作等），则你可能需要承担一定的法律责任。但这种情况较为罕见，且需要充分的证据证明因果关系。
- 间接因果关系：若对方的死亡与你的行为之间存在间接因果关系（例如，你的行为导致对方情绪激动，间接影响了其健康状况），则责任归属可能更为复杂，需要具体分析。
过错责任角度：
- 无过错责任：在交通事故中，通常遵循过错责任原则。若你未实施任何过错行为（如未违反交通规则），则一般无需承担责任。但需注意，某些特殊情况下（如驾驶机动车撞到行人，即使行人有过错，机动车驾驶人也可能需承担一定责任），可能涉及无过错责任。
- 过错责任：若你的行为存在过错（如超速、酒驾等），且该过错与对方的死亡之间存在因果关系，则你可能需要承担相应的法律责任。
第三方因素角度：
- 第三方过错：若对方的死亡是由第三方因素导致（如对方自身疾病、他人故意伤害等），且该因素与你的行为无关，则你一般无需承担责任。
- 不可抗力：若对方的死亡是由不可抗力因素导致（如自然灾害、意外事件等），且该因素与你的行为无关，则你同样无需承担责任。
二、具体情境分析
对方因自身疾病死亡：
- 若对方在与你无接触的情况下，因自身疾病（如心脏病、脑溢血等）突发而死亡，且该疾病与你无关，则你无需承担责任。
对方因受到惊吓或情绪激动而死亡：
- 若你的行为导致对方受到惊吓或情绪激动，进而引发疾病发作或死亡，且该行为存在过错（如故意吓唬对方、与对方发生激烈争执等），则你可能需要承担一定的法律责任。但需注意，这种情况下的责任归属需具体分析，且需要充分的证据证明因果关系。
对方因第三方行为而死亡：
- 若对方的死亡是由第三方行为导致（如被他人故意伤害、遭遇交通事故等），且该行为与你无关，则你无需承担责任。但需注意，若你目睹了第三方行为且有能力救助而未救助，可能涉及道德或法律上的救助义务问题（具体需根据当地法律法规判断）。
三、建议与注意事项
- 保留证据：无论何种情况，都应尽量保留与事件相关的证据（如现场照片、视频、证人证言等），以便在需要时证明自己的清白或责任归属。
- 及时报警：若发生类似事件，建议及时报警并配合警方调查。警方会进行现场勘查、询问证人等工作，以查明事实真相。
- 咨询专业律师：若涉及法律责任问题，建议咨询专业律师以获取更具体的法律建议。律师会根据具体情况分析责任归属、赔偿范围等问题，并为你提供相应的法律支持。
最后，需要强调的是，每个案件的具体情况都不同，责任归属需根据具体事实和法律法规进行判断。因此，在遇到类似问题时，建议保持冷静、保留证据，并及时咨询专业律师以获取更准确的法律建议。如果你有任何疑问或需要进一步的法律帮助，请直接向我咨询。