结论：双方都有家庭的情况下，男人在外纠缠女人是否犯法，需根据具体行为性质和后果来判断，可能涉及违反《治安管理处罚法》或《刑法》的相关规定。
分析说明：
若纠缠行为未造成严重后果，但干扰了他人正常生活：
- 根据《治安管理处罚法》的相关规定，多次发送淫秽、侮辱、恐吓或者其他信息，干扰他人正常生活的，或者偷窥、偷拍、窃听、散布他人隐私的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。
- 举例：如果男人频繁给女人发送骚扰信息、打电话，或者跟踪、监视女人，这些行为都可能构成对女人正常生活的干扰，从而违反《治安管理处罚法》。
若纠缠行为升级为暴力或威胁，造成严重后果：
- 如果男人的纠缠行为进一步升级为暴力行为，如殴打、伤害女人，或者对女人进行威胁、恐吓，导致女人受到身体或心理上的伤害，那么这些行为可能构成犯罪，如故意伤害罪、寻衅滋事罪等。
- 举例：男人如果因为纠缠女人而动手打人，导致女人受伤，那么男人就可能因为故意伤害罪而面临刑事处罚。
若纠缠行为涉及性骚扰或性侵犯：
- 如果男人的纠缠行为包含性骚扰或性侵犯的元素，如对女人进行不适当的身体接触、言语挑逗或强迫发生性关系等，那么这些行为不仅违反了《治安管理处罚法》，还可能构成犯罪，如强制猥亵、侮辱罪或强奸罪等。
- 举例：男人如果强行拥抱、亲吻女人，或者对女人进行言语上的性骚扰，甚至强迫女人与其发生性关系，那么这些行为都可能构成犯罪。
行动建议：
- 对于受害者：如果女人受到男人的纠缠，首先应保持冷静，尽量收集证据，如聊天记录、通话记录、监控视频等。然后，可以向公安机关报案，寻求法律保护。同时，也可以考虑向法院申请人身安全保护令，以防止男人继续纠缠和骚扰。
- 对于纠缠者：男人应认识到自己的行为可能违法，甚至构成犯罪，应立即停止纠缠行为，尊重他人的权利和尊严。如果已经造成后果，应主动承担法律责任，接受法律的制裁。
法律后果：
- 根据纠缠行为的性质和后果，男人可能面临行政处罚（如拘留、罚款）或刑事处罚（如有期徒刑、罚金等）。同时，男人还可能需要承担民事赔偿责任，如赔偿女人的医疗费、精神损失费等。
特殊场景：
- 如果男人和女人之间原本存在某种关系（如同事、朋友等），但男人因为单方面的情感纠葛而纠缠女人，这种行为同样可能构成违法或犯罪。无论双方原本的关系如何，都不能成为男人纠缠女人的合法理由。
其他注意事项：
- 在处理此类纠纷时，应注重保护受害者的隐私和权益，避免对受害者造成二次伤害。同时，也应加强对公众的法律宣传和教育，提高人们的法律意识和道德水平，预防类似纠纷的发生。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询。