结论：在符合一定条件下，子女作为父亲的权利主体可以起诉监护人要回伤残赔偿金。具体条件和情况如下：

1. 伤残赔偿金的性质与归属
   伤残赔偿金是因父亲身体受到伤害而获得的补偿，其本质属于父亲的个人财产，而非家庭共有财产。根据《民法典》第1165条，侵权责任赔偿应直接补偿受害人的损失，因此这笔钱在法律上归父亲个人所有。即使父亲因伤残需要监护，监护人仅负有管理义务，无权占有或处分该财产。

2. 监护人的职责与限制
   根据《民法典》第34条，监护人的职责是代理被监护人实施民事法律行为，保护被监护人的人身权利、财产权利等。监护人除为维护被监护人利益外，不得处分被监护人的财产。若监护人将伤残赔偿金用于父亲的生活、医疗等必要支出，属于合法履行职责；但若擅自挪用、侵占或用于自身消费，则构成违法行为。

3. 起诉要回的条件
   子女作为父亲的法定代理人（若父亲无完全民事行为能力）或直接权利主体（若父亲有民事行为能力但无法自行主张），可向法院起诉监护人返还伤残赔偿金，需满足以下条件：

   • 证据充分：需提供伤残赔偿金已发放至监护人账户的证明（如银行流水、赔偿协议等），以及监护人未合理使用该款项的证据（如挪用、挥霍的记录）。
     
   • 父亲意愿明确：若父亲有民事行为能力，需由其本人提出主张；若父亲无民事行为能力，子女需以法定代理人身份代为起诉，并证明起诉符合父亲的利益。
     
   • 监护人行为违法：需证明监护人存在滥用职权、侵占财产等行为，违反了《民法典》第34条的禁止性规定。

4. 特殊情况处理

   • 若父亲仍健在且有民事行为能力：父亲可直接要求监护人返还，若监护人拒绝，父亲可自行起诉。
     
   • 若父亲无民事行为能力：子女需先向法院申请变更监护人（若原监护人严重侵害父亲权益），再以新监护人身份起诉返还财产。
     
   • 若父亲已去世：伤残赔偿金可能纳入遗产范围，由继承人按法定顺序继承，此时需通过继承纠纷程序解决。

建议：若您遇到此类情况，建议先与监护人协商，要求其说明款项用途并提供凭证；若协商无果，可收集相关证据（如银行流水、医疗记录等）向法院起诉。如有进一步疑问，可直接向我咨询具体操作流程。