双方都有家庭的人同居，这一行为本身在大多数情况下并不直接构成违法，但可能引发一系列严重的法律和社会问题，特别是当双方以夫妻名义共同生活时，将可能构成重婚罪，需承担刑事责任。以下从不同角度为您详细分析：
一、法律层面
民事法律问题
- 违反夫妻忠实义务：我国法律规定，夫妻间有互相忠实的义务。若一方在与他人同居时违反了此义务，尤其在离婚诉讼中，无过错方有权要求损害赔偿，这包括物质和精神两方面的赔偿。例如，因另一方同居行为导致的精神痛苦，无过错方可请求精神损害抚慰金。
- 侵犯配偶财产权：在同居期间，若一方擅自使用夫妻共同财产对同居对象进行大额赠与，这种处分可能因侵犯了配偶的平等处分权而被视为无效，配偶有权利要求返还相关财产。
刑事法律问题
- 重婚罪：若双方以夫妻名义公开同居生活，则可能触犯重婚罪。根据《中华人民共和国刑法》的相关规定，犯重婚罪的，将面临二年以下有期徒刑或者拘役的刑事处罚。重要的是要区分，单纯的同居行为（不以夫妻名义）通常只在民事领域进行调整，而一旦构成重婚，则将面临严厉的刑事处罚。在司法实践中，判断是否构成“以夫妻名义”，通常会综合考虑周围群众是否认为双方是夫妻关系、双方是否对外宣称是夫妻、是否共同生育子女并以父母身份共同抚养等因素。
二、社会与道德层面
- 这种同居关系不仅可能对各自的婚姻家庭造成深远影响，如导致离婚、财产分割等复杂纠纷，还可能在社会和道德层面上遭受广泛的谴责。此类行为对个人的名誉、家庭关系以及社会关系均可能造成不可逆转的损害。
- 此外，若因这种关系产生矛盾或冲突，其处理过程往往极为复杂且敏感，可能涉及多方面的法律和社会资源。
三、实际建议
- 谨慎考虑：在做出此类决定前，请务必充分考虑其行为可能带来的长远影响，包括法律风险、社会舆论压力以及家庭关系的破裂等。
- 寻求专业咨询：如果您对此类问题存在疑问或担忧，建议寻求专业的法律咨询，以便更好地了解您的权利和义务，以及可能面临的法律风险。
- 遵守法律与道德：无论在何种情况下，都应遵守法律法规和道德规范，尊重他人的婚姻和家庭状况，避免对他人的生活和情感造成伤害。
综上所述，虽然双方都有家庭但自愿同居的行为在某些情况下并不直接构成违法，但其潜在的法律风险和社会后果却不容忽视。因此，我强烈建议您在做出此类决定前，充分考虑其行为可能带来的长远影响，并寻求专业的法律咨询。如果您有任何法律问题或需要进一步的帮助，请随时向我咨询。