结论：男女双方都有家庭却偶尔住在一起，即使经济独立，也可能涉及违法及违背公序良俗的问题，若有人举报，相关部门可能会介入调查；若双方不承认，相关部门仍可能根据其他证据进行认定和处理。
详细分析：
法律层面：
- 重婚罪：根据《中华人民共和国刑法》的相关规定，重婚罪是指有配偶而重婚的，或者明知他人有配偶而与之结婚的行为。这里的“结婚”不仅包括法律上的登记结婚，也包括事实上的以夫妻名义共同生活。如果男女双方虽然偶尔住在一起，但并未以夫妻名义共同生活，且没有进行结婚登记，那么一般不构成重婚罪。然而，如果他们的行为被社会普遍认为是夫妻关系，或者他们对外以夫妻名义相称，那么就有可能构成重婚罪。
- 违背公序良俗：即使不构成重婚罪，男女双方都有家庭却偶尔住在一起的行为，也违背了社会公德和家庭伦理，可能受到道德上的谴责。在极端情况下，如果这种行为对家庭造成了严重破坏，或者引发了其他社会问题，相关部门也可能会介入处理。
举报与调查：
- 举报：如果有人举报男女双方都有家庭却偶尔住在一起的行为，相关部门（如公安机关、民政部门等）可能会介入调查。调查的内容可能包括双方的关系、居住情况、经济往来等。
- 不承认的处理：如果双方不承认这种关系，相关部门会根据其他证据进行认定。这些证据可能包括邻居的证言、共同生活的痕迹（如共同购买的物品、共同使用的设施等）、通讯记录等。如果证据充分，相关部门仍然可以认定双方的关系，并据此进行处理。
可能后果：
- 法律后果：如果构成重婚罪，男女双方可能会面临刑事处罚，包括有期徒刑、拘役等。同时，他们的婚姻关系也可能因此受到严重影响，甚至导致离婚。
- 社会后果：即使不构成犯罪，这种行为也可能对双方的家庭、子女以及社会关系造成负面影响。例如，可能导致家庭破裂、子女心理受伤、社会评价降低等。
建议：
- 遵守法律：男女双方应严格遵守法律法规，不要做出违背法律和社会公德的行为。
- 尊重家庭：家庭是社会的基本单元，男女双方应尊重自己的家庭，维护家庭的和谐与稳定。
- 寻求合法途径：如果男女双方确实存在感情问题或其他矛盾，应通过合法途径解决，如离婚、调解等，而不是采取违背法律和社会公德的行为。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。