结论：单纯的双方有家庭但发生破坏行为，并不直接构成犯罪，主要受到道德层面的谴责。但如果在此过程中涉及暴力、重婚或破坏军婚等违法行为，则将面临法律的制裁。以下是对这一结论的详细分析：

一、不构成犯罪的情况

如果双方有家庭，但仅存在婚外情、建立不正当男女关系等情况，这种行为虽然违背了公序良俗和婚姻道德，但我国法律并未将此类行为规定为犯罪。因此，这种情况下，破坏他人家庭的行为更多是受到社会的道德谴责，而非法律制裁。例如，两个人在已有家庭的情况下，私下发展了感情关系，但并未涉及任何违法行为，那么他们主要面临的是社会舆论的压力和道德上的谴责。

二、可能构成犯罪的情况

1. 暴力行为

   • 如果在破坏他人家庭的过程中伴有殴打、侮辱等行为，且情节严重，那么可能触犯《治安管理处罚法》。公安机关有权根据具体情况处以警告、罚款、拘留等治安处罚。
   • 若这些暴力行为导致他人轻伤或以上后果，则可能触犯《刑法》中的故意伤害罪。此时，施暴者将面临有期徒刑、拘役或管制等刑事处罚。例如，某人在与有配偶者发生婚外情时，因争执而殴打对方，导致对方受伤，那么该人就可能因故意伤害罪而受到法律的制裁。

2. 重婚罪

   • 根据《中华人民共和国刑法》的相关规定，有配偶而重婚的，或者明知他人有配偶而与之结婚的，将处二年以下有期徒刑或者拘役。
   • 这里的“结婚”不仅指法律上的婚姻登记，还包括以夫妻名义共同生活的事实婚。例如，某人在已经结婚的情况下，又与他人以夫妻名义共同生活，或者明知对方已经结婚仍与其以夫妻名义共同生活，这些都可能构成重婚罪。

3. 破坏军婚罪

   • 《中华人民共和国刑法》特别规定了破坏军婚罪。明知是现役军人的配偶而与之同居或者结婚的，处三年以下有期徒刑或者拘役。
   • 此罪对现役军人的婚姻关系给予了特殊保护，旨在维护军队的稳定和军人的家庭幸福。如果某人明知对方是现役军人的配偶，仍与其同居或结婚，那么将构成破坏军婚罪。

法律建议

• 尊重他人婚姻：每个人都应尊重他人的婚姻和家庭，遵守法律法规和社会道德规范，共同维护和谐稳定的社会秩序。
• 避免暴力行为：在处理感情问题时，应保持冷静和理智，避免采取暴力行为，以免触犯法律。
• 了解法律后果：在涉及婚姻和家庭问题时，应了解相关法律后果，避免因无知而触犯法律。

如果你或你身边的人遇到了类似的问题，或者有任何关于刑事案件的疑问，都可以直接向我咨询，我会根据你的具体情况，给出专业的法律建议。