结论：抚养权归女方但孩子一直跟随男方生活的情况下，男方不能直接拒绝女方要回孩子的请求。不过，具体能否要回孩子以及男方是否需要交出孩子，需根据实际情况和法律规定来综合判断。

详细分析：

1. 抚养权的法律意义：

   • 抚养权是法律赋予父母对子女进行抚养、教育和保护的权利和义务。当法院判决抚养权归女方时，意味着女方在法律上承担了主要的抚养责任，男方则享有探视权等相应权利。
   • 抚养权的判决是基于子女的最佳利益原则，考虑了父母双方的抚养能力、条件以及子女的意愿（如果子女达到一定年龄）等因素。

2. 实际抚养情况与抚养权的关系：

   • 尽管抚养权归女方，但如果孩子实际上一直跟随男方生活，这可能是由于双方协商、女方因故无法直接抚养或其他特殊原因造成的。然而，这并不改变抚养权的法律归属。
   • 女方作为抚养权人，有权要求男方交出孩子，以便其履行抚养义务。男方不能仅凭孩子一直跟随其生活就拒绝女方的请求。

3. 男方拒绝交出孩子的可能后果：

   • 如果男方拒绝交出孩子，女方可以通过法律途径来维护自己的抚养权。这可能包括向法院申请强制执行抚养权判决，要求男方交出孩子。
   • 在法院强制执行过程中，如果男方仍然拒绝配合，可能会面临法律制裁，如罚款、拘留等。同时，男方的行为也可能对子女的身心健康造成不利影响，进而影响其未来的抚养权归属。

4. 双方协商与变更抚养权：

   • 如果男方希望继续抚养孩子，或者女方因故无法直接抚养孩子，双方可以通过协商来达成新的抚养安排。这可能包括变更抚养权、共同抚养或轮流抚养等方式。
   • 如果双方协商一致并签订了书面协议，且协议内容合法合规，那么这种新的抚养安排是可以被法律认可的。不过，如果涉及变更抚养权，通常需要得到法院的确认和批准。

5. 法律建议：

   • 对于女方来说，如果希望要回孩子并履行抚养义务，建议首先与男方进行友好协商，尝试达成新的抚养安排。如果协商无果，可以向法院申请强制执行抚养权判决。
   • 对于男方来说，如果希望继续抚养孩子或认为女方不适合直接抚养孩子，也可以考虑通过法律途径来变更抚养权。不过，这需要提供充分的证据来证明存在法定的变更事由，如女方因患严重疾病或因伤残无力继续抚养子女、不尽抚养义务或虐待子女等。

总结：抚养权归女方但孩子一直跟随男方生活的情况下，男方不能直接拒绝女方要回孩子的请求。双方应通过协商或法律途径来妥善解决抚养问题，以确保子女的健康成长和合法权益不受侵害。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。