结论：在探视权行使过程中，直接抚养孩子的一方不能一概而论地拒绝对方带走孩子，而应根据具体情况来判断。一般情况下应尊重对方的探视权，特殊情况下则有权拒绝并寻求法律帮助。
详细分析：
一般情况下的探视权行使：
- 探视权，是法律赋予不直接抚养子女一方的权利，旨在保障其与子女间的亲情联络及对子女的关心教育。在离婚协议或法院判决中，双方通常会明确约定探视方式，包括是否可以带孩子离开一定时间。如果约定了可以带走孩子，那么直接抚养方通常不应随意拒绝，因为这种按约定进行的探视安排有助于建立健康稳定的亲子关系。
- 例如，若离婚协议中明确规定，探视方在周末可以接孩子回家居住，那么在符合约定条件下，直接抚养方应尊重并配合这一安排。
特殊情况下的拒绝理由：
- 如果对方存在不利于孩子身心健康的情形，如严重的传染性疾病、酗酒、吸毒、暴力倾向等，这些都可能对孩子造成身体或心理上的伤害。在这些情况下，直接抚养方为了保护孩子的身心健康，有权拒绝对方带走孩子，并及时向法院反映情况，请求法院变更探视方式或暂停对方的探视权。
- 另外，如果对方未按约定或法定程序行使探视权，如擅自改变探视时间、地点和方式，或者强行带走孩子，这都会破坏孩子生活的稳定性和直接抚养方的监护权益。在这种情况下，直接抚养方也有权拒绝，并可以通过法律途径维护自己的合法权益。
协商与法律途径：
- 在探视权行使过程中，如果双方对是否可以带走孩子存在争议，应首先尝试通过友好协商来解决。协商应围绕孩子的最佳利益展开，确保这种安排不会对孩子的正常生活、学习、心理等造成不利影响。
- 如果协商无果，或者对方的行为已经严重损害了孩子的利益，直接抚养方可以向法院提起诉讼，请求法院对探视权进行限制或调整。法院会根据具体情况，综合考虑孩子的年龄、健康状况、心理需求以及父母的抚养能力和行为表现等因素，来作出公正的判决。
建议：
- 作为直接抚养方，应尊重对方的探视权，积极配合对方行使这一权利，除非存在上述特殊情况。
- 如果担心孩子在探视过程中可能会受到伤害或不良影响，可以在协商或诉讼中明确提出，并提供相关证据来支持自己的担忧。
- 任何关于探视权的争议都应在法律框架内解决，不能直接拒绝对方合理的探视请求。如果直接抚养方无理拒绝或阻挠对方行使探视权，将可能面临法律责任。
如有更多关于探视权或其他婚姻家庭法律问题的疑问，可以直接向我咨询，我会为你提供专业、全面的法律解答。