结论：能否要回这笔钱需分情况讨论，主要取决于父亲给钱时的性质认定（赠与或附条件赠与/遗赠扶养协议）、子女是否履行约定义务以及是否存在法定撤销情形。以下是具体分析：

1. 若父亲给钱时明确约定为“附条件赠与”或“遗赠扶养协议”

• 附条件赠与：若父亲在给钱时明确表示“这笔钱用于子女未来赡养残疾人（如父亲本人或其他亲属），若子女未履行赡养义务，需返还”，则该赠与附有条件。根据《民法典》第663条，若子女未履行赡养义务，父亲有权撤销赠与并要求返还。
• 遗赠扶养协议：若父亲与子女签订书面协议，约定子女承担赡养残疾人的义务，父亲则将财产赠与子女。根据《民法典》第1158条，若子女未履行协议义务，父亲有权解除协议并要求返还财产；若父亲已去世，其继承人可要求子女返还。

2. 若父亲给钱时未明确约定条件，视为普通赠与

• 普通赠与的效力：根据《民法典》第657条，赠与合同是赠与人将自己的财产无偿给予受赠人，受赠人表示接受的合同。若父亲未明确约定条件，子女取得财产后，父亲一般无权要求返还。
• 例外情形：若子女存在严重侵害父亲或其近亲属合法权益的行为（如虐待、遗弃），父亲可根据《民法典》第663条撤销赠与并要求返还。

3. 若父亲已去世，继承人能否主张返还？

• 继承人的权利：若父亲去世前未撤销赠与，且赠与未附条件，继承人一般无权直接要求子女返还财产。但若子女未履行对父亲的赡养义务（如父亲生前生活困难且子女有能力赡养而未赡养），继承人可根据《民法典》第1141条主张减少子女继承份额，或通过其他法律途径追究子女责任。
• 遗赠扶养协议的履行：若父亲与子女签订遗赠扶养协议但子女未履行义务，继承人可根据《民法典》第1158条要求子女返还财产。

4. 实务建议

• 收集证据：若父亲希望要回钱款，需证明赠与时附有条件（如书面协议、录音、证人证言等），或证明子女未履行赡养义务。
• 协商或诉讼：可先与子女协商返还；协商不成，可向法院提起民事诉讼，主张撤销赠与或解除遗赠扶养协议。
• 赡养义务的履行：若子女已履行赡养义务，即使父亲反悔，子女也有权拒绝返还。

总结：能否要回钱款需结合赠与性质、子女是否履约及证据情况综合判断。建议父亲或继承人尽快咨询专业律师，评估证据并制定维权策略。如有进一步问题，可直接向我提问。