结论：双方各自有家庭却与异性同居，这一行为在法律上是不被认可的，可能涉及重婚罪（若以夫妻名义共同生活）或违反公序良俗原则，并可能引发一系列法律后果。以下是对此问题的详细分析：
一、法律定性
重婚罪的可能性：
- 如果双方在各自有家庭的情况下，仍以夫妻名义与异性同居生活，那么这种行为可能构成重婚罪。根据《中华人民共和国刑法》的相关规定，有配偶而重婚的，或者明知他人有配偶而与之结婚的，处二年以下有期徒刑或者拘役。这里的“结婚”不仅包括法律上的婚姻登记，也包括以夫妻名义共同生活的事实婚姻。
违反公序良俗原则：
- 即便双方没有以夫妻名义共同生活，只是单纯的同居关系，这种行为也违反了社会的公序良俗原则。公序良俗是法律的基本原则之一，它要求人们的行为应当符合社会的公共秩序和善良风俗。有家庭的人与异性同居，显然违背了这一原则。
二、法律后果
对婚姻关系的影响：
- 如果这种同居行为被另一方配偶发现，可能会导致婚姻关系的破裂。在离婚诉讼中，同居行为可能被视为过错方，从而影响财产分割、子女抚养权等问题的判决。
对子女的影响：
- 同居行为还可能对双方的子女产生负面影响。子女可能会因为父母的行为而感到羞耻、自卑或产生其他心理问题。此外，如果同居行为导致婚姻破裂，子女还可能面临家庭结构变化带来的适应问题。
社会舆论压力：
- 在社会上，有家庭的人与异性同居往往会被视为不道德的行为，从而受到舆论的谴责。这种舆论压力可能会对双方的生活、工作等方面产生负面影响。
三、处理建议
立即停止同居行为：
- 如果双方已经意识到这种行为的错误性，应当立即停止同居行为，回归各自的家庭。这是避免进一步法律后果和社会舆论压力的最直接方式。
寻求法律咨询：
- 如果双方因为同居行为已经产生了法律纠纷（如离婚诉讼、财产分割等），建议寻求专业的法律咨询。作为婚姻家庭领域的专业律师，我可以根据具体情况提供针对性的法律建议和帮助。
反思与改正：
- 除了法律层面的处理外，双方还应当深刻反思自己的行为，认识到这种行为对家庭、子女和社会造成的伤害，并努力改正自己的错误。
最后，有家庭的人与异性同居是一种不负责任且可能违法的行为。它不仅可能破坏双方的婚姻关系，还可能对子女和社会造成负面影响。因此，我建议双方立即停止这种行为，并寻求合法的途径解决可能出现的法律问题。如果你有任何具体的法律问题或需要进一步的帮助，请随时向我咨询。