双方都有家庭但自愿同居，在大多数情况下并不直接构成违法，但可能引发一系列严重的法律和社会问题。特别是当双方以夫妻名义共同生活，且周围群众也认为这是夫妻关系时，将可能构成重婚罪，需承担刑事责任。以下是详细分析：

1. 民事法律问题：

   • 违反夫妻忠实义务：我国《民法典》规定，夫妻间有互相忠实的义务。若一方在与他人同居时违反了此义务，在离婚诉讼中，无过错方有权要求损害赔偿，包括物质和精神损害赔偿。
   • 财产分割问题：若同居期间产生了共有财产或经济纠葛，如共同购置的房产、车辆等，分手时极易产生财产分配难题。这些财产的处理将遵循特定的法律原则进行分割，但与夫妻共有财产的分割原则有所不同。

2. 刑事法律问题：

   • 重婚罪：若双方以夫妻名义公开同居生活，根据《中华人民共和国刑法》的相关规定，可能触犯重婚罪。犯重婚罪的，将面临二年以下有期徒刑或者拘役的刑事处罚。重要的是，单纯的同居行为（不以夫妻名义）并不构成重婚罪，只在民事领域进行调整。

3. 社会与道德层面：

   • 这种同居关系可能对各自的婚姻家庭造成深远影响，如导致离婚、家庭破裂等。同时，在社会和道德层面上，此类行为也可能遭受广泛的谴责，对个人的名誉、家庭关系以及社会关系造成损害。

综上所述，虽然双方都有家庭但自愿同居的行为在某些情况下并不直接构成违法，但其潜在的法律风险和社会后果却不容忽视。因此，建议各方在做出此类决定前，充分考虑其行为可能带来的长远影响，并寻求专业的法律咨询。如果你在这方面有任何疑问或需要进一步的法律帮助，请直接向我咨询。