结论：在特定条件下，您是有可能通过法律途径要回孩子的抚养权的，但具体能否成功需根据实际情况判断。
分析说明：
根据《最高人民法院关于适用〈民法典〉婚姻家庭编的解释（一）》的相关规定，子女的抚养权是可以变更的，但需要满足一定的条件。具体来说，以下情形可能支持您变更抚养权的要求：
与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女：
- 如果您的前夫因健康问题或伤残无法继续承担抚养责任，这将是您要求变更抚养权的有力理由。
与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响：
- 如果您能提供证据证明前夫存在不尽抚养义务、虐待子女或对子女身心健康产生不利影响的行为，法院可能会考虑变更抚养权。
已满八周岁的子女，愿随另一方生活，该方又有抚养能力：
- 如果孩子已满八周岁，并且明确表示愿意随您生活，且您具备抚养能力，这将是您要求变更抚养权的重要依据。
有其他正当理由需要变更：
- 这是一个兜底条款，如果存在其他合理且正当的理由，如前夫再婚后家庭环境变化对子女成长不利等，法院也可能考虑变更抚养权。
特殊场景：
- 您一直没有孩子的情况：
- 虽然您一直没有孩子，但这本身并不直接构成变更抚养权的法定理由。然而，如果这一情况能与其他法定理由相结合，如您具备更好的抚养条件和意愿，且前夫存在不利于子女成长的情况，那么这一因素可能在一定程度上支持您的诉求。
行动建议：
收集证据：
- 收集前夫存在不利于子女成长情况的证据，如医疗记录、虐待证据、不良生活习惯等。
- 如果孩子已满八周岁，与孩子沟通并了解其意愿，确保孩子愿意随您生活。
评估抚养能力：
- 评估自己的经济状况、居住环境、教育背景等，确保自己具备抚养孩子的能力。
咨询并委托律师：
- 咨询专业律师，了解具体法律程序和可能面临的挑战。
- 委托律师代理诉讼，提高变更抚养权的成功率。
法律后果：
- 如果法院支持您的诉求，您将获得孩子的抚养权，并承担相应的抚养责任。
- 如果法院不支持您的诉求，您可能需要继续通过其他方式关注孩子的成长，并考虑与前夫协商改善抚养环境。
进一步说明：
变更抚养权是一个复杂的法律过程，涉及多方利益和情感因素。因此，在决定采取行动前，请务必充分考虑各种因素，并咨询专业律师的意见。如果您有任何疑问或需要进一步的法律帮助，请直接向我咨询。