结论：在此类情况下，主家是否需要负责，取决于多个因素，包括主家是否存在过错、过错与客人死亡之间的因果关系等。以下是从不同角度进行的分析：
一、主家的责任基础
过错责任原则：
- 根据一般的侵权责任原则，如果主家在客人来家吃饭喝酒的过程中存在过错，比如强迫客人饮酒、明知客人不能饮酒或已醉酒仍劝酒等，且这种过错与客人后续游泳出事死亡之间存在因果关系，那么主家可能需要承担相应的赔偿责任。
安全保障义务：
- 主家作为宴请活动的组织者，对参与宴请的客人负有一定的安全保障义务。这包括确保客人在宴请期间的安全，以及在客人离开时，如果客人处于醉酒等可能危及自身安全的状态，主家应尽到合理的提醒和照顾义务。如果主家未尽到这些义务，导致客人出事，主家可能需要承担一定的责任。
二、具体情境分析
客人自愿饮酒且主家无过错：
- 如果客人是自愿饮酒，且主家没有强迫、劝酒等行为，同时主家在客人离开时已经尽到了合理的提醒和照顾义务（比如提醒客人注意安全、不要酒后驾车或游泳等），那么在这种情况下，主家通常不需要对客人的死亡承担责任。
主家存在过错且过错与死亡有因果关系：
- 如果主家存在过错，比如强迫客人饮酒、明知客人不能饮酒或已醉酒仍劝酒，或者未尽到安全保障义务（比如未提醒客人酒后不要游泳等），且这种过错与客人的死亡之间存在因果关系，那么主家可能需要承担相应的赔偿责任。这种赔偿责任可能包括医疗费、丧葬费、死亡赔偿金等。
三、法律建议
收集证据：
- 如果发生此类纠纷，建议主家和客人家属都积极收集相关证据，包括宴请当天的监控录像、证人证言、医疗记录等，以证明各自的主张。
协商解决：
- 在纠纷发生后，双方可以尝试通过协商的方式解决争议。这可以节省时间和成本，同时也有助于维护双方的关系。
法律途径：
- 如果协商无果，双方可以通过法律途径解决争议。这包括向法院提起诉讼或申请仲裁等。在诉讼过程中，法院将根据双方提供的证据和法律规定来判决责任归属和赔偿金额。
进一步思考：在此类纠纷中，预防总是优于治疗。作为主家，在组织宴请活动时，应充分考虑到客人的安全和健康，避免强迫客人饮酒或提供过量酒精饮料。同时，在客人离开时，应尽到合理的提醒和照顾义务，确保客人能够安全回家或到达其他目的地。如果客人已经醉酒或处于其他可能危及自身安全的状态，主家应考虑安排专人护送或采取其他必要措施来确保客人的安全。
如有任何进一步疑问或需要法律帮助，请直接向我咨询，我会根据你的具体情况提供详细的法律建议。