结论：在离婚时双方约定一人抚养一个孩子，但孩子不愿意跟爸爸的情况下，妈妈起诉要回孩子抚养权是有可能成功的，但具体结果需根据孩子的年龄、意愿、双方抚养条件及是否存在不利于孩子成长的情形等因素综合判断。

分析如下：

1. 孩子年龄与意愿：

   • 如果孩子已满八周岁，根据《中华人民共和国民法典》的相关规定，法院在判决抚养权归属时，会尊重孩子的真实意愿。因此，如果孩子明确表示愿意跟随妈妈生活，这将成为法院判决抚养权变更的重要考量因素。
   • 如果孩子未满八周岁，虽然其意愿可能不是决定性因素，但法院仍会考虑孩子的实际生活环境和情感需求，以及哪一方抚养更有利于孩子的成长。

2. 双方抚养条件：

   • 法院在判决抚养权归属时，会综合考虑双方的抚养条件，包括经济能力、居住环境、教育背景、陪伴时间等。如果妈妈能够证明自己具备更好的抚养条件，或者爸爸存在不利于孩子成长的情形（如虐待、遗弃、严重疾病等），那么妈妈起诉要回孩子抚养权的成功率会相应提高。

3. 抚养权变更的法定情形：

   • 根据法律规定，与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的，或者与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的，另一方要求变更子女抚养关系的，人民法院应予支持。因此，如果爸爸存在上述情形，妈妈起诉要回孩子抚养权将更有法律依据。

4. 实际操作建议：

   • 妈妈在起诉前应收集相关证据，如孩子的意愿表达（可以是书面、录音或视频形式）、双方的抚养条件证明、爸爸不利于孩子成长的证据等。
   • 妈妈可以寻求专业律师的帮助，制定详细的诉讼策略，以提高诉讼成功率。
   • 在诉讼过程中，妈妈应保持冷静和理性，尊重法院的判决结果，并积极配合法院的执行工作。

后续行动建议：

• 如果妈妈决定起诉要回孩子抚养权，建议尽快咨询专业律师，了解具体的诉讼流程和注意事项。
• 在诉讼过程中，妈妈应保持与孩子的良好沟通，关注孩子的情感需求，避免给孩子造成不必要的心理压力。
• 无论诉讼结果如何，妈妈都应尊重孩子的意愿和感受，为孩子提供一个稳定、和谐的生活环境。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。