结论：从您描述的情况来看，几年前写小纸条骂人，之后一直没见过面，几年后那个人去世，一般情况下，您的行为与那个人的死亡没有直接的法律关系。但具体是否有关，还需结合更多细节来综合判断。
分析：
因果关系：
- 在法律上，要确定一个人的行为是否构成侵权或犯罪，通常需要证明该行为与损害结果之间存在直接的因果关系。
- 您写小纸条骂人的行为，虽然可能构成对他人名誉权的侵害（如果内容足够恶劣且被他人知晓），但这与几年后那个人的死亡之间，很难建立起直接的因果关系。
时间间隔：
- 侵权行为与损害结果之间通常需要有一定的时间上的紧密联系。您写小纸条的行为与那个人的死亡之间相隔几年，时间间隔较长，这进一步削弱了两者之间的直接联系。
其他可能因素：
- 那个人的死亡可能由多种因素导致，如疾病、意外、自杀等。除非有证据表明您的行为是导致其死亡的关键因素（如长期的精神折磨导致自杀），否则很难将死亡归咎于您几年前的行为。
法律责任：
- 即使您的行为构成了对他人名誉权的侵害，您可能需要承担的是民事赔偿责任，如赔偿精神损失费等，而不是刑事责任。
- 刑事责任通常要求行为与犯罪结果之间有直接的因果关系，且行为具有严重的社会危害性。您描述的行为显然不符合这一标准。
建议：
- 保持冷静：首先，不要因为这件事而过度自责或恐慌。从法律角度来看，您的行为与那个人的死亡之间没有直接的法律关系。
- 收集证据：如果您担心未来可能因此事产生纠纷，可以尝试收集一些证据来证明您的行为与那个人的死亡之间没有直接联系，如小纸条的内容、时间、地点等。
- 咨询专业意见：虽然我已经给出了基本的法律分析，但如果您仍然感到不安或担心，可以进一步向我咨询，我会根据您的具体情况提供更详细的法律建议。
特殊情况说明：
- 如果那个人的死亡确实与您的行为有某种间接联系（如长期的精神压力导致健康恶化），且这种联系能够被法律所认可，那么您可能需要承担一定的法律责任。但这种情况非常罕见，且需要充分的证据来支持。
总之，从您描述的情况来看，您的行为与那个人的死亡之间没有直接的法律关系。但如果您有任何疑虑或担心，可以随时向我咨询，我会根据您的具体情况提供更详细的法律分析和建议。