结论：能否要回抚养费需分情况讨论，主要取决于协议性质、是否实际履行抚养义务以及是否存在法定或约定解除事由。以下从法律角度展开分析：

1. 若协议属于“委托抚养”且未约定费用承担
   根据《民法典》第919条，委托合同是委托人和受托人约定，由受托人处理委托人事务的合同。若双方明确约定“代为抚养孩子”且未提及费用，通常视为无偿委托。此时，若您已实际履行抚养义务（如支付生活费、教育费等），可依据《民法典》第929条主张“必要费用返还”，但需提供支出凭证（如转账记录、收据等），且返还范围仅限于“必要支出”（如基本生活费、医疗费），不包括“情感补偿”或“劳务报酬”。

2. 若协议属于“借名抚养”或“名义抚养”
   若协议本质是“您以自己名义抚养孩子，但孩子与您无法律上的亲子关系”（如代孕、借腹生子等），此类协议因违反公序良俗（《民法典》第153条）或涉及身份关系（如亲子关系认定），通常被认定为无效。此时，您已支付的抚养费可能无法通过协议主张返还，但若能证明对方存在欺诈（如隐瞒孩子非亲生事实），可依据《民法典》第148条主张撤销协议并要求赔偿损失。

3. 若协议属于“有偿抚养”且明确约定费用
   若双方明确约定“您抚养孩子，对方支付抚养费”（如离婚后一方委托第三方抚养），此类协议属于民事合同。若对方未按约定支付费用，您可依据《民法典》第577条主张违约责任，要求对方支付拖欠的抚养费及违约金（如有约定）。但需注意：若孩子与您无法律上的抚养关系（如非亲生且未办理收养手续），您可能需先通过诉讼确认“实际抚养人”身份，再主张费用。

4. 特殊情形：孩子与您形成“事实抚养关系”
   根据《民法典》第1072条，继父母与继子女间，若长期共同生活且形成抚养教育关系，继父母可主张与亲生父母同等的权利义务。若您虽无血缘关系，但实际抚养孩子多年（如继父/母、养父母），且孩子已依赖您生活，您可主张“继续抚养”或要求对方补偿“已支付的抚养费”（需结合具体证据，如社区证明、学校记录等）。

行动建议：

• 立即整理协议原件、抚养支出凭证（如转账记录、购物发票、医疗费单据等）、孩子生活照片或视频等证据；
  
• 若对方拒绝支付，可先发送《律师函》催告，固定对方违约事实；
  
• 若协商无果，尽快向法院起诉，主张费用返还或违约赔偿（诉讼时效为3年，自知道权利受损之日起算）。
  

温馨提示：抚养费纠纷涉及身份关系和情感因素，建议优先通过协商解决；若必须诉讼，需做好心理准备，法院可能综合考虑“孩子利益最大化”原则，对返还金额进行适当调整。如有进一步疑问，可直接向我咨询具体证据准备或诉讼策略。