老人对不赡养的子女有权收回让其代理保管的资金。接下来，我将对此进行详细分析：

一. 子女赡养义务的法律规定

1. 根据《中华人民共和国民法典》第一千零六十七条，成年子女有赡养扶助父母的义务。这表明，子女在法律上有责任赡养和扶助父母，这是法定的义务。

二. 老人对资金的控制权

1. 老人作为资金的原始所有人，有权决定资金的使用和保管方式。如果老人将资金交由子女代理保管，这并不意味着子女获得了资金的所有权，而只是获得了保管和使用的授权。
2. 如果子女未履行赡养义务，老人作为资金的原始所有人，有权收回这部分资金。因为子女的赡养义务与老人对资金的控制权是两个相互独立但又相互联系的法律关系。子女不履行赡养义务，老人有权采取相应的法律措施来保护自己的合法权益。

三. 实际操作的建议

1. 在收回资金之前，老人可以先与子女进行沟通，明确表达自己的不满和期望，看是否能够通过协商解决问题。
2. 如果协商无果，老人可以委托专业律师，通过法律途径来收回资金。例如，可以起诉子女要求返还代理保管的资金，并同时要求子女履行赡养义务。

综上所述，老人对不赡养的子女有权收回让其代理保管的资金。这是基于子女赡养义务的法律规定以及老人对资金的控制权。在实际操作中，老人可以先尝试与子女协商，如果协商无果，则可以通过法律途径来维护自己的合法权益。如有进一步需要，您可以继续咨询我。