双方都有家庭却一直保持情人关系，这一行为本身并不直接构成犯罪，但可能违反道德规范，并在特定情况下涉及法律责任。以下是从不同角度对此问题的详细分析：
一、道德层面
从道德角度来看，双方都有家庭却保持情人关系，无疑是对各自家庭的不忠和背叛。这种行为违背了婚姻中的忠诚义务，可能对家庭成员造成情感上的伤害，尤其是对配偶和子女的心理产生负面影响。道德虽然不具有法律强制力，但它是社会秩序和人际关系和谐的重要基石。因此，即使从法律角度不构成犯罪，这种行为也应受到道德上的谴责。
二、法律层面
不构成犯罪的一般情况：
- 在大多数情况下，双方都有家庭却保持情人关系，并不直接违反刑法规定，因此不构成犯罪。法律并未明确禁止成年人之间的自愿情感关系，除非这种关系涉及到其他违法行为。
可能涉及的法律责任：
- 重婚罪：如果双方以夫妻名义共同生活，或者明知他人有配偶而与之结婚，则可能构成重婚罪。根据《中华人民共和国刑法》第二百五十八条的规定，有配偶而重婚的，或者明知他人有配偶而与之结婚的，处二年以下有期徒刑或者拘役。但需要注意的是，单纯的情人关系并不等同于重婚，必须满足以夫妻名义共同生活或结婚的条件。
- 侵犯配偶权：虽然情人关系本身不直接构成犯罪，但如果因此导致配偶一方提出离婚，并主张精神损害赔偿，法院可能会根据具体情况判决有过错方承担一定的赔偿责任。这主要基于《中华人民共和国民法典》中关于婚姻家庭的规定，以及过错方对无过错方造成的精神损害。
- 其他违法行为：如果情人关系中涉及到金钱交易、性交易等违法行为，则可能构成其他犯罪，如卖淫嫖娼罪等。但这种情况已经超出了单纯的情人关系范畴。
三、建议与后果
- 建议：对于双方都有家庭却保持情人关系的情况，建议双方尽快结束这种不正当的关系，回归各自的家庭。这不仅是对自己和家庭的负责，也是对社会道德和法律的尊重。
- 后果：如果继续维持这种关系，可能会面临家庭破裂、社会舆论压力、法律责任等多重后果。尤其是当这种关系被曝光或引发纠纷时，可能会给双方带来无法挽回的损失。
如果有任何关于婚姻家庭、离婚或离婚财产纠纷方面的法律问题，可以直接向我咨询。我会根据你的具体情况，提供专业、全面的法律建议。