结论：女方一般不能直接因男方曾非法购买持有精神类药品而单方面限制其探视权，但若该行为对子女身心健康造成不利影响，女方可通过法律途径申请限制或中止探视权。

分析说明：

1. 探视权的基本原则：

   • 根据《中华人民共和国民法典》的相关规定，离婚后，不直接抚养子女的父或母，有探望子女的权利，另一方有协助的义务。这是法律赋予父母的基本权利，旨在保障子女与父母的正常联系和情感交流。

2. 限制或中止探视权的条件：

   • 探视权并非绝对不受限制。如果父或母的探望行为对子女的身心健康造成不利影响，如存在虐待、遗弃、严重不良行为等，另一方可以向法院提出申请，要求限制或中止其探望权。
   • 在本案例中，男方曾非法购买持有精神类药品，这一行为本身并不直接构成限制或中止探视权的法定理由。但是，如果这一行为对子女的身心健康造成了实际的不利影响，或者男方存在利用精神类药品对子女进行不良影响的风险，女方则有权向法院提出申请。

3. 法律程序与证据要求：

   • 女方若要申请限制或中止男方的探视权，需要向法院提交充分的证据，证明男方的行为确实对子女的身心健康造成了不利影响。这可能包括医疗记录、警方记录、证人证言等。
   • 法院在审理此类案件时，会综合考虑子女的利益、父母的抚养能力和条件、以及探望行为对子女身心健康的影响等因素，作出是否限制或中止探视权的判决。

4. 实际操作建议：

   • 女方在发现男方有非法购买持有精神类药品的行为时，应首先尝试与男方沟通，了解其具体情况，并评估该行为对子女可能产生的影响。
   • 如果沟通无果，或者男方拒绝改变其行为，女方可以收集相关证据，并向法院提出申请，要求限制或中止男方的探视权。
   • 在整个过程中，女方应保持冷静和理性，以子女的利益为出发点，寻求法律途径解决问题。

后续行动建议：

• 如果你作为女方，发现男方的行为确实对子女造成了不利影响，建议尽快收集相关证据，并向法院提出申请。
• 在申请过程中，你可以寻求专业律师的帮助，以确保你的权益得到充分保障。
• 同时，你也应关注子女的心理状态和需求，为他们提供必要的支持和关爱。

如有更多疑问或需要进一步的法律帮助，请直接向我咨询。