针对您提出的“双方都有家庭的婚外情法律怎么处理”这一问题，我将从民事法律、刑事法律以及社会影响与法律后果三个方面进行详细解答。
一、民事法律问题
在婚姻关系中，夫妻双方有互相忠实的义务，这是婚姻关系的基本准则。当一方与他人发生婚外情时，这种行为显然违反了夫妻间的忠实义务。如果因此导致离婚，无过错方在离婚时有权请求损害赔偿。法院在处理财产分割时，会倾向于保护无过错方的权益，确保他们不会因对方的过错行为而遭受经济损失。此外，无过错方还可以要求过错方给予精神损害赔偿，以弥补因对方行为造成的精神痛苦。
二、刑事法律问题
重婚罪： 如果婚外情的双方以夫妻名义共同生活，且被周围邻居视为夫妻，那么这种行为就可能构成重婚罪。根据《中华人民共和国刑法》的相关规定，犯重婚罪的，将受到二年以下有期徒刑或者拘役的处罚。这一规定明确指出了婚外情在特定情形下可能触犯的刑法条款，强调了法律对婚姻关系的保护。
破坏军婚罪： 如果婚外情的对象是现役军人的配偶，并且与之同居或者结婚，那么这种行为就构成了破坏军婚罪。根据《中华人民共和国刑法》的相关规定，明知是现役军人的配偶而与之同居或者结婚的，将面临三年以下有期徒刑或者拘役的处罚。这一规定体现了法律对军人婚姻的特殊保护。
三、社会影响与法律后果
虽然婚外情本身不直接构成违法行为（除非涉及上述刑事犯罪），但它往往伴随着一系列不良后果。它可能对家庭关系造成严重破坏，伤害无辜的配偶和子女，甚至引发社会舆论的谴责。在离婚案件中，婚外情通常被视为夫妻感情破裂的原因之一，从而影响财产分割、子女抚养等方面的判决。这些法律后果不仅关乎个人的切身利益，也关系到家庭和社会的和谐稳定。
总结与建议：
双方都有家庭的婚外情虽然不直接构成犯罪（除非涉及重婚罪或破坏军婚罪），但可能带来严重的法律后果和社会影响。因此，我建议每个人都要尊重自己的婚姻和家庭，遵守道德规范和法律法规。在面对婚外情等复杂情感问题时，应理性处理，寻求合法合规的解决方案，如通过沟通、咨询或法律途径来解决问题，以维护家庭的幸福和社会的和谐。