结论：双方都有家庭的情况下同居，这一行为本身在大多数情况下并不直接构成违法，但可能引发一系列严重的法律和社会问题。特别是当双方以夫妻名义共同生活时，将可能构成重婚罪，需承担刑事责任。以下是对此问题的详细分析：
一、法律层面分析
民事法律问题
- 违反夫妻忠实义务：根据《中华人民共和国民法典》第一千零四十三条，夫妻应当互相忠实。若一方在与他人同居时违反了此义务，尤其在离婚诉讼中，无过错方有权要求损害赔偿，这包括物质和精神两方面的赔偿。例如，因另一方同居行为导致的精神痛苦，无过错方可请求精神损害抚慰金。
- 侵犯配偶财产权：在同居期间，若一方擅自使用夫妻共同财产对同居对象进行大额赠与，这种处分可能因侵犯了配偶的平等处分权而被视为无效，配偶有权利要求返还相关财产。
刑事法律问题
- 重婚罪：若双方以夫妻名义公开同居生活，则可能触犯重婚罪。根据《中华人民共和国刑法》第二百五十八条，有配偶而重婚的，或者明知他人有配偶而与之结婚的，处二年以下有期徒刑或者拘役。重要的是要区分，单纯的同居行为（不以夫妻名义）通常只在民事领域进行调整，而一旦构成重婚，则将面临严厉的刑事处罚。
二、社会与道德层面分析
- 社会舆论压力：这种同居关系不仅可能对各自的婚姻家庭造成深远影响，如导致离婚、财产分割等复杂纠纷，还可能在社会和道德层面上遭受广泛的谴责。此类行为对个人的名誉、家庭关系以及社会关系均可能造成不可逆转的损害。
- 子女问题：若同居期间怀孕或生育子女，将涉及孩子的法律地位、抚养责任及遗产继承等复杂问题，需通过法律途径解决，这无疑会给双方及子女带来更大的困扰和伤害。
三、特殊公职人员的法律责任
- 对于特定公职人员，如军人配偶，与他人同居将受到更严厉的法律制裁。根据《中华人民共和国治安管理处罚法》第六十条，明知是现役军人的配偶而与之同居或结婚的，将面临拘留和罚款。
四、法律建议
- 尊重婚姻与家庭：在考虑与他人建立亲密关系时，应充分尊重他人的婚姻和家庭状况，避免对他人的生活和情感造成伤害。
- 遵守社会道德和伦理规范：维护良好的社会秩序和公共道德，是每个人的责任和义务。
- 寻求专业法律咨询：若面临复杂的婚姻家庭问题，建议及时寻求专业法律咨询，以了解自己的权利和义务，避免不必要的法律纠纷。
综上所述，双方都有家庭的情况下同居，虽然不直接构成违法，但潜在的法律风险和社会后果却不容忽视。因此，在做出此类决定前，请务必充分考虑各种因素，并谨慎行事。如有任何法律疑问或需要进一步的帮助，请直接向我咨询。