双方都有家庭且自愿发生关系后被家人知道，一般情况下不需要承担刑事责任，但可能需要承担一定的民事责任或面临道德层面的压力。以下从不同角度进行详细分析：

一、刑事责任角度

1. 不构成犯罪的情况：

   • 在双方自愿且没有涉及金钱交易（即非卖淫嫖娼行为）的情况下，单纯的婚外性行为并不构成犯罪。我国刑法中并没有直接规定婚外性行为为犯罪，除非该行为同时触犯了其他罪名，如重婚罪。但重婚罪的构成需要满足一定的条件，即明知他人有配偶而与之结婚，或者自己有配偶而与他人结婚，或者以夫妻名义共同生活。仅仅发生一次性关系，并不构成重婚罪。

2. 可能构成犯罪的情况（但本案例中不涉及）：

   • 如果一方或双方在发生关系时存在欺骗、强迫等非自愿行为，那么可能构成强奸罪或其他相关犯罪。但根据您的描述，双方是自愿的，因此不涉及此类犯罪。

二、民事责任角度

1. 配偶的索赔权：

   • 虽然婚外性行为本身不直接导致民事赔偿，但如果因此导致婚姻关系破裂，无过错方（即受害方配偶）有权在离婚时要求过错方（即发生婚外性行为的一方）进行损害赔偿。这种赔偿通常包括精神损害赔偿和物质损害赔偿，具体数额由法院根据实际情况判决。

2. 家庭财产分割的影响：

   • 在离婚时，如果一方存在婚外性行为等过错行为，法院在分割家庭财产时可能会倾向于保护无过错方的利益，即过错方可能少分或不分财产。但这并不是绝对的，法院会综合考虑多种因素来做出判决。

三、道德与社会压力角度

1. 道德谴责：

   • 婚外性行为在道德上通常受到谴责，因为它违背了婚姻忠诚的义务。这种行为可能对双方的家庭关系、子女成长以及社会声誉造成负面影响。

2. 社会舆论压力：

   • 一旦婚外性行为被公开，双方可能会面临来自社会舆论的压力和指责。这种压力可能对双方的心理和生活产生不良影响。

四、建议与措施

1. 坦诚沟通：

   • 如果双方家庭已经知道此事，建议双方坦诚地与各自的配偶沟通，解释情况并寻求谅解。虽然这可能很困难，但坦诚是解决问题的第一步。

2. 寻求专业帮助：

   • 如果双方家庭因此产生严重矛盾或冲突，建议寻求专业心理咨询或家庭调解师的帮助。他们可以提供中立的意见和建议，帮助双方家庭化解矛盾。

3. 遵守法律与道德规范：

   • 无论结果如何，双方都应遵守法律和道德规范，尊重他人的感情和权益。避免再次发生类似行为，以维护家庭和社会的和谐稳定。

总结来说，双方都有家庭且自愿发生关系后被家人知道，一般情况下不需要承担刑事责任，但可能需要承担一定的民事责任（如离婚时的损害赔偿）或面临道德层面的压力。建议双方坦诚沟通、寻求专业帮助，并遵守法律与道德规范。如果您有任何法律问题或需要进一步的法律建议，请直接向我咨询。