结论：从您描述的情况来看，两年前的一次辱骂行为，若未造成严重后果且未被追究，现在一般无需过于担心被追责。但具体还需根据辱骂行为的性质、后果以及相关法律规定来综合判断。
分析：
辱骂行为的法律性质：
- 辱骂他人可能构成对他人名誉权的侵犯，根据《中华人民共和国民法典》的相关规定，公民、法人享有名誉权，公民的人格尊严受法律保护，禁止用侮辱、诽谤等方式损害公民、法人的名誉。
- 若辱骂行为情节严重，还可能触犯《中华人民共和国刑法》中的侮辱罪或诽谤罪，但这两项罪名通常要求辱骂行为达到“情节严重”的程度，如造成被害人精神失常、自杀等严重后果，或者多次辱骂、公然辱骂等。
追责的时效性：
- 对于民事侵权行为，如侵犯名誉权，一般适用诉讼时效制度。根据《中华人民共和国民法典》的规定，向人民法院请求保护民事权利的诉讼时效期间为三年。从您描述的情况来看，两年前的辱骂行为，若未在三年内被提起诉讼，则可能因超过诉讼时效而不再受法律保护。
- 对于刑事犯罪行为，如侮辱罪或诽谤罪，其追诉期限则根据犯罪的法定最高刑来确定。若辱骂行为未构成犯罪或已超过追诉期限，则不再受刑事追究。
当前无需过于担心的理由：
- 您提到两年前骂过他人一次，且未被告过，这表明该行为可能未造成严重后果，也未引起法律纠纷。
- 除非有新的证据或情况出现，否则一般难以再对两年前的行为进行追责。
建议：
- 保持冷静，无需过度担忧：基于上述分析，您无需对两年前的辱骂行为过度担忧。但应引以为戒，避免在未来再次发生类似行为。
- 了解法律，尊重他人：建议您进一步了解相关法律法规，尊重他人的名誉权和人格尊严，避免使用侮辱性语言或行为对待他人。
- 若遇纠纷，及时咨询：如果您在未来遇到任何法律纠纷或疑问，特别是涉及名誉权、人格尊严等方面的纠纷，可以及时向我咨询，我会根据您的具体情况提供专业的法律意见和帮助。
特殊情况说明：
- 若辱骂行为涉及特定群体（如少数民族、宗教人士等），可能触犯更严重的法律规定，如煽动民族仇恨、民族歧视罪等。但这种情况通常要求辱骂行为具有明确的煽动性和针对性，且造成了严重的社会后果。
- 若辱骂行为被他人录制视频或音频并广泛传播，可能构成对他人名誉权的更严重侵犯，甚至可能触犯刑法中的相关罪名。但这种情况也要求辱骂行为具有公开性和广泛传播性。