可以起诉要求变更孩子的抚养权。在离婚协议中约定不要孩子，但之后又想要回孩子抚养权的情况，法律上是允许通过诉讼途径来解决的。以下是从不同角度对此问题的详细分析：
一、法律依据
根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五十六条的规定，具有下列情形之一，父母一方要求变更子女抚养关系的，人民法院应予支持：
- 与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女；
- 与子女共同生活的一方不尽抚养义务或有虐待子女行为，或者其与子女共同生活对子女身心健康确有不利影响；
- 已满八周岁的子女，愿随另一方生活，该方又有抚养能力；
- 还有其他正当理由需要变更。
二、具体分析
若存在法定变更情形：
- 如果与孩子共同生活的一方出现了上述法律规定的情形，如患严重疾病、伤残无力抚养、不尽抚养义务或有虐待行为等，你可以直接向法院提起诉讼，要求变更孩子的抚养权。
- 法院在审理此类案件时，会优先考虑孩子的利益和福祉，确保孩子能够在一个健康、稳定的环境中成长。
若不存在法定变更情形，但情况发生变化：
- 即使不存在上述法律规定的情形，但如果你的情况发生了变化，比如经济条件改善、居住环境稳定、有更多的时间和精力照顾孩子等，且这些变化有利于孩子的成长，你也可以向法院提起诉讼，要求变更抚养权。
- 在这种情况下，你需要提供充分的证据来证明你的抚养能力和条件优于对方，且变更抚养权更有利于孩子的成长。
孩子的意愿：
- 如果孩子已满八周岁，且愿意随你生活，且你又有抚养能力，这将成为你要求变更抚养权的有力依据。
- 法院在审理此类案件时，会尊重孩子的意愿，并考虑孩子的实际需求和利益。
三、建议与注意事项
收集证据：
- 在提起诉讼前，你需要收集充分的证据来证明你的抚养能力和条件优于对方，或者对方存在不利于孩子成长的情形。
- 证据可以包括你的经济状况证明、居住环境证明、与孩子的亲密关系证明等。
咨询专业律师：
- 虽然我作为雷俊律师已经给出了详细的法律分析，但每个案件的具体情况都有所不同。
- 在提起诉讼前，建议你咨询专业律师，以便更准确地了解你的权利和义务，以及诉讼的可能结果。
考虑孩子的利益：
- 在整个诉讼过程中，你需要始终将孩子的利益放在首位。
- 避免因为个人情感或利益而忽视孩子的实际需求和利益。
保持冷静和理性：
- 离婚和抚养权变更都是敏感而复杂的问题，容易引发情绪波动。
- 在处理这些问题时，你需要保持冷静和理性，以便更好地维护自己和孩子的权益。
如果你有任何关于离婚、抚养权变更等婚姻家庭领域的法律问题，都可以直接向我咨询。