双方各有家庭但自愿同居，这一行为本身在大多数情况下并不直接构成违法，但可能引发一系列严重的法律和社会问题。特别是当双方以夫妻名义共同生活时，将可能构成重婚罪，需承担刑事责任。以下从不同角度进行详细分析：
一、法律层面
民事法律问题
- 违反夫妻忠实义务：我国法律规定，夫妻间有互相忠实的义务。若一方在与他人同居时违反了此义务，尤其在离婚诉讼中，无过错方有权要求损害赔偿，这包括物质和精神两方面的赔偿。例如，因另一方同居行为导致的精神痛苦，无过错方可请求精神损害抚慰金。
- 侵犯配偶财产权：在同居期间，若一方擅自使用夫妻共同财产对同居对象进行大额赠与，这种处分可能因侵犯了配偶的平等处分权而被视为无效，配偶有权利要求返还相关财产。
刑事法律问题
- 重婚罪：若双方以夫妻名义公开同居生活，则可能触犯重婚罪。根据《中华人民共和国刑法》的相关规定，犯重婚罪的，将面临二年以下有期徒刑或者拘役的刑事处罚。重要的是要区分，单纯的同居行为（不以夫妻名义）通常只在民事领域进行调整，而一旦构成重婚，则将面临严厉的刑事处罚。
二、社会与道德层面
- 对婚姻家庭的影响：这种同居关系不仅可能对各自的婚姻家庭造成深远影响，如导致离婚、财产分割等复杂纠纷，还可能在社会和道德层面上遭受广泛的谴责。此类行为对个人的名誉、家庭关系以及社会关系均可能造成不可逆转的损害。
- 矛盾冲突处理：若因这种关系产生矛盾或冲突，其处理过程往往极为复杂且敏感，可能涉及多方面的法律和社会资源。
三、特殊情况下的法律后果
- 与现役军人的配偶同居：如果同居的一方是现役军人的配偶，那么这种行为可能构成破坏军婚罪。根据《中华人民共和国刑法》的相关规定，将处三年以下有期徒刑或者拘役。
- 与未成年人同居：与未满14周岁的未成年人同居并发生性关系，无论未成年人是否自愿，均按照强奸罪论处，并从重处罚。与14周岁以上、不满18周岁的未成年人同居，若该未成年人心智尚未成熟、缺乏自我保护能力，同居者可能会因涉及对未成年人的保护和监管问题而面临法律责任。
四、建议与提醒
- 考虑长远影响：虽然双方各有家庭但自愿同居的行为在某些情况下并不直接构成违法，但其潜在的法律风险和社会后果却不容忽视。因此，在做出此类决定前，应充分考虑其行为可能带来的长远影响。
- 寻求法律咨询：如有任何疑问或担忧，建议及时向我咨询，以便更好地了解相关法律规定和可能面临的法律风险。
综上所述，双方各有家庭但自愿同居的行为需谨慎对待，以免引发不必要的法律纠纷和社会困扰。