结论：法院是否会将抚养权判给只有探视权却私自接走孩子并拒绝送回的一方，需结合具体案情判断，但该方行为已构成不当行使探视权，若存在对孩子不利的影响或直接抚养方具备更优抚养条件，法院判变更抚养权的可能性会增大。以下从法律定性、法院裁判考量因素、直接抚养方应对措施三个角度展开分析：

一、法律定性：私自接走孩子并拒绝送回属不当行使探视权

根据《中华人民共和国民法典》相关规定，探视权是不直接抚养子女一方的法定权利，但行使该权利应在法律和道德的框架内，不得损害直接抚养方的合法权益及子女的身心健康。一方仅有探视权却私自接走孩子并拒绝送回，明显超出了探视权的合理界限，侵犯了直接抚养方的抚养权，属于不当行使探视权的行为。

二、法院裁判考量因素：变更抚养权需满足法定条件

法院在审理变更抚养权纠纷时，会综合考虑多方面因素，以确定是否变更抚养关系，核心原则是“最有利于未成年子女”。具体而言，法院会重点考察以下方面：

1. 直接抚养方的抚养能力与条件：包括经济状况、居住环境、教育背景、与子女的感情基础等。若直接抚养方具备更稳定的收入、更适宜的居住环境、更良好的教育条件，且与子女感情深厚，法院倾向于维持现有抚养关系。
2. 私自接走孩子方的行为影响：若该方私自接走孩子并拒绝送回的行为，对孩子的身心健康造成了不良影响，如导致孩子出现心理问题、情绪波动、学业受影响等，法院会认为该方不利于孩子成长，从而可能判变更抚养权。
3. 子女的意愿：若子女已满八周岁，法院会尊重其真实意愿。若子女明确表示愿意与直接抚养方共同生活，法院会优先考虑子女的选择。

举例说明：假设直接抚养方经济条件优越，有稳定的收入和适宜的居住环境，且与子女感情深厚，而私自接走孩子方经济状况较差，居住环境不稳定，且接走孩子后导致孩子出现心理问题，那么法院判变更抚养权给直接抚养方的可能性较大。

三、直接抚养方应对措施：协商、强制执行与诉讼维权

面对只有探视权却私自接走孩子并拒绝送回的情况，直接抚养方可采取以下措施维护自身权益：

1. 协商解决：首先尝试与对方沟通，明确告知其行为违法，要求及时送回孩子。协商过程中，可保留相关通讯记录作为证据。
2. 申请法院强制执行：若协商无果，可向法院申请强制执行。根据《民事诉讼法》相关规定，法院有权要求对方履行协助义务，强制将孩子送回。申请强制执行时，需提交生效的法律文书（如离婚判决书、调解书等）及对方拒不履行义务的证据。
3. 提起变更抚养权诉讼：若对方的行为对孩子造成了不良影响，或直接抚养方具备更优的抚养条件，可向法院提起变更抚养权诉讼。诉讼中，需提交能证明对方行为不当及自身具备更优抚养条件的证据，如证人证言、通讯记录、孩子心理评估报告等。

温馨提示：在整个过程中，要始终将孩子的利益放在首位，避免因纠纷对孩子造成二次伤害。同时，要注意收集相关证据，以便在后续法律程序中维护自身合法权益。若您正面临此类困扰，可直接向我咨询，我会根据您的具体情况提供更详细的法律建议。