有家庭的男人骚扰未成年，这种行为是违法的，并且可能涉及多种法律责任。以下从不同角度为你详细分析：
一、民事责任角度
如果骚扰行为对未成年人的身心健康造成了损害，比如导致未成年人出现心理问题、精神障碍等，那么骚扰者需要承担民事赔偿责任。根据《中华人民共和国民法典》的相关规定，侵害他人造成人身损害的，应当赔偿医疗费、护理费、交通费、营养费、住院伙食补助费等为治疗和康复支出的合理费用，以及因误工减少的收入。虽然未成年人可能没有直接的经济收入，但骚扰行为可能给其家庭带来额外的经济负担，如心理治疗费用等，这些都可以作为赔偿的范围。
二、行政责任角度
骚扰未成年人的行为，如果尚未构成犯罪，但违反了治安管理规定，那么骚扰者可能会受到行政处罚。根据《中华人民共和国治安管理处罚法》的相关规定，对于写恐吓信或者以其他方法威胁他人人身安全的、公然侮辱他人或者捏造事实诽谤他人的、多次发送淫秽、侮辱、恐吓或者其他信息，干扰他人正常生活的等行为，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。如果骚扰行为涉及对未成年人的性骚扰或者猥亵等，处罚可能会更加严厉。
三、刑事责任角度
如果骚扰行为情节严重，构成了犯罪，那么骚扰者将面临刑事责任的追究。例如，如果骚扰行为涉及对未成年人的性侵犯、猥亵儿童等，根据《中华人民共和国刑法》的相关规定，可能会构成强奸罪、猥亵儿童罪等，面临数年甚至数十年的有期徒刑，甚至死刑的严厉处罚。
四、特殊保护角度
未成年人作为社会的弱势群体，受到法律的特殊保护。对于骚扰未成年人的行为，法律往往规定有更严厉的处罚措施。例如，在量刑时，对于针对未成年人的犯罪，法院可能会考虑从重处罚。此外，如果骚扰者是有家庭的人，其行为还可能对其家庭关系产生严重影响，如导致婚姻破裂、家庭声誉受损等。
建议：
如果你或你身边的人遇到了类似的问题，可以直接向我咨询，我会根据你的具体情况提供更详细的法律建议和帮助。