结论：在中国，双方都有家庭的情况下，男方是否需要承担责任以及是否违法，取决于他们之间的具体行为性质。若男方与另一方已婚女性发生不正当关系，可能涉及道德层面的责任，但一般不直接构成违法；若男方与另一方已婚女性以夫妻名义共同生活，则可能构成重婚罪，需要承担刑事责任。

分析如下：

1. 道德层面的责任：

   • 在双方都有家庭的情况下，如果男方与另一方已婚女性发生了不正当的男女关系，这种行为首先违反了社会道德和婚姻伦理。虽然这种行为不直接构成违法，但男方在道德上应受到谴责，并可能需要承担因此产生的家庭矛盾、婚姻破裂等后果。

2. 法律层面的责任：

   • 一般情况：如果男方与另一方已婚女性的关系仅限于不正当的男女关系，而没有以夫妻名义共同生活，那么这种行为虽然不道德，但并不构成违法。男方不会因此受到法律的制裁，但可能需要面对家庭、社会等方面的压力。
   • 特殊情况：如果男方与另一方已婚女性以夫妻名义共同生活，或者明知对方有配偶而与之结婚，那么这种行为就构成了重婚罪。根据《中华人民共和国刑法》的相关规定，有配偶而重婚的，或者明知他人有配偶而与之结婚的，处二年以下有期徒刑或者拘役。在这种情况下，男方不仅需要承担刑事责任，还可能面临民事赔偿等法律后果。

建议：

• 对于男方而言，应该遵守社会道德和婚姻伦理，尊重自己和他人的婚姻关系，避免发生不正当的男女关系。
• 如果男方已经陷入了这样的关系中，应该及时止损，结束这种不正当的关系，并努力修复自己的家庭关系。
• 如果男方因为这种行为而面临法律纠纷或家庭矛盾，建议及时咨询专业律师，了解自己的法律权益和义务，并寻求合适的解决方案。

后续思考依据：

• 在处理类似案件时，法院会根据具体证据和事实来判断男方是否构成重婚罪或其他违法行为。因此，男方在面临法律纠纷时，应该积极配合调查，提供真实、完整的证据和陈述。
• 同时，男方也应该认识到自己的行为对家庭和社会造成的影响，积极承担责任，努力修复因自己的行为而受损的关系。

如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。