结论：在探视权行使过程中，直接抚养孩子的一方不能一概而论地拒绝对方带走孩子，而应根据具体情况来判断。一般情况下应尊重对方的探视权，特殊情况下则有权拒绝并寻求法律帮助。
详细分析：
一般情况下的探视权行使：
- 探视权，也称为探望权，是夫妻离婚后不直接抚养子女的一方依法享有的与其子女见面交流的权利。这一权利的目的是为了保障孩子与非直接抚养方之间的亲子关系得以维系和发展，从而确保孩子的身心健康成长。
- 根据《中华人民共和国民法典》第一千零八十六条，离婚后，不直接抚养子女的父或者母，有探望子女的权利，另一方有协助的义务。行使探望权利的方式、时间由当事人协议；协议不成的，由人民法院判决。这意味着，如果双方在离婚协议或法院判决中明确约定了探视方式，包括是否可以带走孩子，那么直接抚养方通常不应随意拒绝。
- 直接抚养方应积极配合对方行使探视权，不得无故阻碍对方与孩子见面交流。这是法律规定的义务，也是维护孩子权益的重要一环。例如，如果双方约定周末探视，且允许带走孩子共度周末，那么直接抚养方应遵守这一约定。
特殊情况下的拒绝理由：
- 如果对方存在不利于孩子身心健康的情形，如严重的传染性疾病、酗酒、吸毒、暴力倾向等，这些都可能对孩子造成身体或心理上的伤害。在这些情况下，直接抚养方为了保护孩子的身心健康，有权拒绝对方带走孩子，并及时向法院反映情况，请求法院变更探视方式或暂停对方的探视权。
- 如果对方未按约定或法定程序行使探视权，如擅自改变探视时间、地点和方式，或者强行带走孩子，这都会破坏孩子生活的稳定性和直接抚养方的监护权益。在这种情况下，直接抚养方也有权拒绝，并可以通过法律途径维护自己的合法权益。例如，如果对方未经允许擅自将孩子带走，直接抚养方可以报警或向法院申请强制执行。
法律框架内的解决途径：
- 如果直接抚养方担心孩子在探视过程中可能会受到伤害或不良影响，可以在协商或诉讼中明确提出，并提供相关证据来支持自己的担忧。例如，如果对方有酗酒习惯，直接抚养方可以提供相关证据，如酒驾记录、邻居证言等，来证明对方不适合在探视时带走孩子。
- 法院会根据具体情况，综合考虑孩子的年龄、健康状况、心理需求以及父母的抚养能力和行为表现等因素，来判断是否需要对探视权进行限制或调整。例如，如果孩子年龄较小，且对方有不良嗜好，法院可能会判决限制对方的探视权，或者要求对方在探视时必须有第三方在场。
- 任何关于探视权的争议都应在法律框架内解决，不能直接拒绝对方合理的探视请求。如果直接抚养方无理拒绝或阻挠对方行使探视权，将可能面临法律责任。例如，如果直接抚养方无正当理由拒绝对方探视，对方可以向法院申请强制执行，要求直接抚养方履行协助义务。
建议：
- 在行使探视权时，双方应严格遵守法律规定和约定，尊重对方的权益，同时也应关注孩子的身心健康和成长需求。
- 如果直接抚养方对对方的探视行为有担忧或异议，应及时与对方沟通协商，或者通过法律途径解决争议。
- 在任何情况下，孩子的最佳利益都应是首要考虑的，双方应通过友好协商或法律途径来寻求解决方案。
如有更多关于探视权或婚姻家庭方面的法律问题，可以直接向我咨询。