首先，需要明确的是，探视权是法律赋予不直接抚养子女的一方的权利，另一方有协助的义务。因此，从法律层面上讲，不能简单地“拒绝”男方的探视权。但如果存在特殊情况，可以考虑通过合法途径来中止或限制探视权。
一、不能拒绝探视权的一般原则
根据《民法典》第一千零八十六条，离婚后，不直接抚养子女的父或者母，有探望子女的权利，另一方有协助的义务。这是法律对探视权的基本规定，体现了对子女成长过程中父母双方关爱的重视。
二、可以中止探视权的特殊情形
不利于子女身心健康：如果男方的探视行为对子女的身心健康造成不利影响，如存在虐待、遗弃、暴力倾向等，那么可以直接抚养子女的一方或相关利害关系人可以向人民法院提出申请，要求中止男方的探视权。法院在审查后，如果认为确实存在不利于子女身心健康的情况，会依法中止探视权。
传染性疾病等特殊情况：如果男方身患对子女身体健康构成严重威胁的传染性疾病，且该疾病具有传染性，那么为了子女的健康考虑，可以直接抚养子女的一方临时性地拒绝男方的探视。但这种情况需要具体评估，并确保有充分的医学依据。
三、处理建议
沟通协商：首先尝试与男方进行心平气和的沟通，了解他的探视需求，并表达你的担忧和考虑。通过协商，双方可以达成一个既保障男方探视权又确保子女身心健康的解决方案。
寻求法律帮助：如果沟通无果或男方存在不当行为，可以直接向我咨询或寻求其他专业律师的帮助。律师会根据具体情况提供法律建议，并帮助你通过法律途径来维护自己和子女的合法权益。
保留证据：在整个过程中，务必保留好相关证据，如聊天记录、短信、邮件、医疗证明等。这些证据在后续的法律程序中可能起到关键作用。
综上所述，虽然不能直接“拒绝”男方的探视权，但在特定情况下可以通过合法途径来中止或限制探视权。在处理此类问题时，应始终以子女的利益为出发点，并确保所有行为都符合法律法规的要求。