针对您提出的“双方都有家庭的婚外情法律怎么处理”这一问题，我将从民事法律、刑事法律以及社会影响与法律后果三个方面进行详细解答。
一、民事法律问题
在婚姻关系中，夫妻双方有互相忠实的义务，这是婚姻关系的基本准则。当一方与他人发生婚外情时，这种行为显然违反了夫妻间的忠实义务。如果因此导致离婚，无过错方在离婚时有权请求损害赔偿。法院在处理财产分割时，会倾向于保护无过错方的权益，确保其在经济上不受或少受损失。同时，无过错方还可以要求过错方给予精神损害赔偿，以弥补其因婚外情所遭受的精神痛苦。
二、刑事法律问题
重婚罪： 如果婚外情的双方以夫妻名义共同生活，且被周围邻居视为夫妻，那么这种行为就可能构成重婚罪。根据《中华人民共和国刑法》的相关规定，犯重婚罪的，将受到二年以下有期徒刑或者拘役的处罚。这一规定明确指出了婚外情在特定情形下可能触犯的刑法条款，提醒人们要尊重婚姻制度，避免触犯法律。
破坏军婚罪： 如果婚外情的对象是现役军人的配偶，并且与之同居或者结婚，那么这种行为就构成了破坏军婚罪。根据《中华人民共和国刑法》的相关规定，明知是现役军人的配偶而与之同居或者结婚的，将面临三年以下有期徒刑或者拘役的处罚。这一规定体现了国家对军人婚姻的特殊保护，也警示人们不要破坏军人的家庭幸福。
三、社会影响与法律后果
虽然婚外情本身不直接构成违法行为（除非涉及重婚或破坏军婚等特定情形），但它往往伴随着一系列不良后果。婚外情可能对家庭关系造成严重破坏，伤害无辜的配偶和子女，甚至引发社会舆论的谴责。在离婚案件中，婚外情通常被视为夫妻感情破裂的原因之一，从而影响财产分割、子女抚养等方面的判决。这些法律后果不仅关乎个人的切身利益，也关系到家庭和社会的和谐稳定。
总结与建议：
双方都有家庭的婚外情虽然不直接构成犯罪（除非涉及特定情形），但可能带来严重的法律后果和社会影响。因此，我建议每个人都要尊重自己的婚姻和家庭，遵守道德规范和法律法规。在面对婚外情等复杂情感问题时，应理性处理，寻求合法合规的解决方案。如果确实无法维持婚姻关系，应通过合法途径离婚，并妥善处理财产分割、子女抚养等问题，以减少对家庭和社会的伤害。