核心结论：在多年前的成年人自愿发生关系且缺乏人证物证的情况下，若对方家人知晓，是否需要承担责任取决于具体情形，以下分情况说明：

1. 若双方均为成年人且自愿发生关系
   根据中国法律，成年人之间自愿发生性关系不构成违法犯罪（除非涉及特殊身份关系，如利用职权、监护关系等胁迫发生关系，但你描述中未提及此类情形）。即使对方家人知晓，只要不存在强迫、欺骗、威胁等行为，你无需承担法律责任。但需注意：

   • 若对方家人以“道德谴责”或“名誉损害”为由施压，这属于民事纠纷范畴，法律上无法强制要求你承担责任，但可能面临社会舆论压力。
     
   • 若对方家人声称你“欺骗感情”或“导致精神损害”，需对方举证（如聊天记录、承诺证据等），若无证据，法律上难以支持其主张。

2. 若存在特殊情形需警惕法律风险

   • 年龄问题：若当时对方未满14周岁（即使你误以为其已成年），可能涉嫌强奸罪（刑法第236条），但你描述中明确“成年人”，故排除此情形。
     
   • 胁迫或欺骗：若你通过威胁、暴力、药物等手段迫使对方发生关系，即使多年后被发现，仍可能被追究刑事责任（强奸罪追诉期最长可达20年）。
     
   • 传播隐私或影像：若你保存了性关系相关的隐私照片、视频并传播，可能涉嫌侵犯公民个人信息罪或传播淫秽物品罪。

3. 对方家人可能的行动及应对建议

   • 协商沟通：对方家人可能要求你“负责”（如经济补偿、结婚等），但法律上无强制义务。若愿意协商，可明确约定“补偿性质”并留存书面协议，避免被认定为“封口费”或“勒索”。
     
   • 拒绝无理要求：若对方家人以曝光隐私、骚扰生活等方式威胁，可保留证据（如录音、短信）并报警，对方可能涉嫌敲诈勒索罪（刑法第274条）。
     
   • 法律程序：若对方提起民事诉讼（如名誉权纠纷），需积极应诉，举证证明关系自愿且无过错。

总结建议：

• 保持冷静，无需过度恐慌，但需严肃对待对方家人的反应。
  
• 梳理事件细节（如时间、地点、双方沟通记录），评估是否存在法律风险点。
  
• 若对方家人采取过激行为（如骚扰、威胁），及时固定证据并寻求法律保护。
  
• 如有进一步疑问或需要具体方案，可直接向我咨询，我会结合细节为你分析。