关于探视权拒不履行会被罚款或拘留的次数问题，这并非由一个固定的次数来决定，而是根据具体情况和法院的判断来灵活处理的。

首先，需要明确的是，如果一方拒不配合执行探视权，另一方可以向法院申请强制执行。在法院判决后，如果被告仍然拒不履行判决，配合原告行使探视权利，那么法院有权根据情节轻重给予罚金或拘留处罚。这里的拘留处罚期限通常在十五日以下。

然而，关于能拘留几次的问题，并没有一个明确的法律规定。它主要取决于不履行的次数以及具体情况。如果一方多次拒不履行探视权，且情节严重，那么法院可能会多次采取拘留等强制措施。但这也并非绝对，因为法院在处理此类案件时，会综合考虑各种因素，包括但不限于不履行的次数、情节严重程度、对子女的影响等。

此外，还需要注意的是，根据《最高法:民法典-婚姻家庭编司法解释(一)》的相关规定，对于拒不协助另一方行使探望权的有关个人或者组织，法院可以依法采取拘留、罚款等强制措施，但这些措施不能对子女的人身、探望行为进行强制执行。

总的来说，探视权拒不履行会被罚款或拘留的次数并不是固定的，而是根据具体情况和法院的判断来决定的。如果您或您身边的人遇到了此类问题，建议及时咨询专业律师，以便更好地维护自己的合法权益。