男女双方都有家庭却在一起，这种行为可能涉及违法，具体取决于他们的行为性质和造成的后果。以下从不同角度为你详细分析：
道德层面：
- 即便不从法律角度考虑，这种行为也严重违背了社会道德和伦理规范。婚姻是建立在忠诚和信任基础上的，双方都有家庭却在一起，无疑是对各自配偶和家庭的背叛，会伤害到无辜的家庭成员，尤其是子女，可能对他们的心理和成长造成长期负面影响。
法律层面：
- 重婚罪：如果男女双方在已有婚姻关系的情况下，又与他人以夫妻名义共同生活，或者明知他人有配偶而与之结婚，那么这种行为就构成了重婚罪。根据《中华人民共和国刑法》的相关规定，重婚罪是可以追究刑事责任的，可能面临有期徒刑或拘役的处罚。
- 破坏婚姻家庭罪（此罪名实际为概括性表述，具体需看行为）：虽然我国刑法没有直接规定“破坏婚姻家庭罪”，但如果有配偶者与他人同居，或者实施家庭暴力、虐待、遗弃家庭成员等行为，这些行为可能分别构成其他犯罪，如虐待罪、遗弃罪等，或者根据《中华人民共和国民法典》的相关规定，承担民事赔偿责任。在男女双方都有家庭的情况下，如果他们的同居行为导致了对方家庭的破裂，虽然不一定直接构成犯罪，但可能面临民事赔偿等法律责任。
- 其他法律后果：除了刑事责任和民事责任外，这种行为还可能对当事人的社会声誉、职业发展等产生负面影响。例如，一些职业（如公务员、教师等）对从业人员的道德品质有较高要求，这种行为可能导致当事人失去工作或面临其他职业上的限制。
实际建议：
- 如果你或你身边的人正面临这样的情况，我强烈建议立即停止这种不当行为，并认真反思自己的婚姻和家庭责任。
- 如果婚姻确实存在问题，应该通过合法途径（如离婚、婚姻咨询等）来解决，而不是通过背叛和伤害来逃避问题。
- 如果你担心自己的行为可能构成犯罪或面临其他法律责任，我建议你尽快咨询专业律师，了解自己的法律地位和可能的法律后果，以便做出明智的决策。
总之，男女双方都有家庭却在一起是一种不负责任且可能违法的行为。我们应该尊重婚姻和家庭的神圣性，遵守社会道德和法律法规，共同维护社会的和谐与稳定。如果你有任何法律问题或需要进一步的法律建议，请随时向我咨询。