结论：男女双方都有家庭却自愿发生关系，这一行为本身并不直接构成犯罪，但可能违反道德规范，并可能引发一系列法律后果，特别是如果涉及到重婚、破坏军婚等情形。
详细分析：
道德层面：
- 从道德角度来看，男女双方都有家庭却自愿发生关系，显然违背了社会公认的道德准则，特别是婚姻中的忠诚义务。这种行为可能对双方的配偶、子女以及家庭关系造成严重的伤害。
法律层面：
- 不构成犯罪的一般情况：在大多数情况下，如果双方都是自愿的，并且没有涉及金钱交易或其他违法行为，这种行为本身并不构成犯罪。然而，这并不意味着这种行为是合法的或可接受的，因为它仍然可能对家庭关系和社会秩序造成负面影响。
- 可能构成犯罪的特殊情况：
- 重婚罪：如果双方中的任何一方在已有配偶的情况下，又与他人以夫妻名义共同生活或登记结婚，则可能构成重婚罪。根据《中华人民共和国刑法》的相关规定，重婚罪可处二年以下有期徒刑或者拘役。
- 破坏军婚罪：如果其中一方是现役军人的配偶，且与他人同居或结婚，则可能构成破坏军婚罪。这一罪名对军人的婚姻关系提供特殊保护，处罚也相对严厉。
法律后果：
- 除了可能构成的犯罪外，这种行为还可能引发一系列民事法律后果。例如，如果因此导致婚姻破裂，双方可能面临离婚诉讼，涉及财产分割、子女抚养权等问题。
- 在某些情况下，如果这种行为被公开或传播，还可能对双方的名誉和隐私造成损害，引发名誉权纠纷或隐私权纠纷。
建议：
- 遵守道德规范：无论法律如何规定，我们都应该遵守社会公认的道德准则，尊重婚姻中的忠诚义务，维护家庭关系的和谐与稳定。
- 谨慎处理感情问题：如果双方确实存在感情问题或婚姻危机，应该通过合法、合理的方式解决，如寻求婚姻咨询、心理辅导或法律帮助等。
- 了解法律后果：在做出任何决定之前，都应该充分了解可能面临的法律后果，避免因为一时冲动而陷入法律纠纷。
总结：男女双方都有家庭却自愿发生关系，虽然这一行为本身不直接构成犯罪，但可能违反道德规范，并可能引发一系列法律后果。因此，我们应该谨慎处理感情问题，遵守道德规范和法律法规，维护家庭关系的和谐与稳定。如果有任何法律问题或疑虑，可以直接向我咨询。