生父在特定条件下是有权利要回孩子的抚养权的，这主要取决于孩子的年龄、当前抚养状况以及生父的具体情况。以下是对此问题的详细分析：
一、法律依据与原则
根据《中华人民共和国民法典》第一千零八十四条的规定，父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或者母直接抚养，仍是父母双方的子女。同时，该条款也明确了离婚后父母对子女的抚养问题应遵循的原则，包括尊重子女的真实意愿（在子女已满八周岁的情况下）以及最有利于未成年子女的原则。这意味着，即使父母离婚时约定了抚养权归属，但在符合一定条件下，抚养权仍然可以发生变更。
二、可以要回抚养权的情形
协议变更：
- 父母双方可以通过协商一致的方式，签订变更抚养权协议，重新确定子女的抚养权归属。这种方式相对简单且灵活，但需要双方自愿并达成一致意见。如果生父与直接抚养孩子的一方能够就抚养权变更达成协议，那么生父就有权要回孩子。
诉讼变更：
- 如果协商不成，生父可以向法院提起诉讼，请求变更子女的抚养权。法院在审理此类案件时，会综合考虑多种因素，如子女的年龄、性别、生活状况、父母的抚养能力和条件等。
- 根据相关司法解释和司法实践，如果一方要求变更子女抚养关系存在以下情形之一的，法院应予支持：
- 与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的；
- 与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的；
- 八周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的；
- 有其他正当理由需要变更的。
三、有利于子女成长的因素
在争夺抚养权的过程中，法院会特别关注哪一方更有利于子女的健康成长。这包括但不限于以下几个方面：
- 经济能力：生父的经济能力是否足以支持子女的日常生活和教育需求。
- 生活环境：生父能否为子女提供一个稳定、安全的生活环境。
- 教育陪伴：生父是否有足够的时间和精力陪伴子女成长，参与其教育和培养。
- 情感联系：生父与子女之间的情感联系是否紧密，是否能够给予子女足够的关爱和支持。
四、实际操作建议
如果生父希望要回孩子的抚养权，建议采取以下步骤：
- 与直接抚养孩子的一方进行协商：尝试通过友好协商的方式达成抚养权变更协议，这是最为简便且成本较低的方式。
- 收集证据：如果协商不成，生父需要收集相关证据，以证明自己更有利于子女的健康成长，或者证明直接抚养孩子的一方存在不利于子女成长的情形。
- 向法院提起诉讼：在收集到充分证据后，生父可以向法院提起诉讼，请求变更子女的抚养权。在诉讼过程中，生父需要充分展示自己的抚养能力和条件，以及直接抚养孩子的一方存在的问题。
总结来说，生父在特定条件下是有权利要回孩子的抚养权的。这需要生父根据具体情况采取合适的措施，并充分展示自己的抚养能力和条件。如果你有具体的法律问题或需要进一步的法律帮助，请直接向我咨询。