结论：男女双方都有家庭但偶尔住在一起，这一行为本身并不直接构成犯罪，但可能涉及道德和法律上的多重问题，具体取决于他们的行为方式和造成的后果。以下是对此问题的详细分析：
一、道德层面
从道德角度来看，已婚男女与他人同居，即使只是偶尔，也可能被视为对婚姻的不忠和对家庭责任的忽视。这种行为可能引发家庭矛盾、社会舆论压力，甚至对子女的成长产生不良影响。因此，尽管道德约束不具有法律强制力，但它对个人行为和社会秩序的维护具有重要作用。
二、法律层面
重婚罪：
- 定义：根据《中华人民共和国刑法》第二百五十八条，重婚罪是指有配偶而重婚的，或者明知他人有配偶而与之结婚的行为。
- 分析：偶尔住在一起并不等同于“结婚”或“以夫妻名义共同生活”，因此通常不构成重婚罪。但如果双方长期以夫妻名义共同生活，甚至举办婚礼、生育子女等，则可能构成重婚罪。
通奸与同居：
- 定义：通奸通常指已婚男女与婚外异性发生性关系的行为；同居则指未婚或已婚男女以非婚姻关系共同居住。
- 分析：在我国法律中，通奸和同居行为本身并不构成犯罪，但可能受到道德谴责。然而，如果同居行为导致家庭破裂、引发暴力冲突或侵犯他人权益等后果，则可能涉及其他法律问题，如离婚损害赔偿、故意伤害罪等。
举报与法律后果：
- 举报：如果有人举报男女双方都有家庭但偶尔住在一起的行为，公安机关通常不会直接介入处理，因为这并不构成犯罪。但如果举报内容涉及重婚、家庭暴力、虐待等违法行为，公安机关则会依法进行调查处理。
- 法律后果：如果双方的行为确实违反了法律规定（如重婚罪），则可能面临刑事处罚；如果仅涉及道德问题或民事纠纷，则可能通过调解、诉讼等方式解决。
三、建议与注意事项
- 遵守婚姻忠诚义务：已婚男女应遵守婚姻忠诚义务，尊重家庭责任，避免与婚外异性发生不正当关系。
- 处理家庭矛盾：如果双方家庭因此产生矛盾或纠纷，应积极沟通、协商解决，避免矛盾升级或引发法律纠纷。
- 寻求法律帮助：如果双方的行为确实涉及法律问题或需要法律帮助，可以向我咨询相关法律问题，我会根据具体情况提供专业的法律建议。
总结：男女双方都有家庭但偶尔住在一起的行为本身并不直接构成犯罪，但可能涉及道德和法律上的多重问题。建议双方遵守婚姻忠诚义务，尊重家庭责任，避免引发不必要的法律纠纷和道德争议。如果有任何法律问题或需要进一步的法律建议，请随时向我咨询。