委托书代理离婚的材料需要递交至具有管辖权的婚姻登记机关。具体来说，根据《婚姻登记条例》的相关规定，内地居民自愿离婚的，男女双方应当共同到一方当事人常住户口所在地的婚姻登记机关办理离婚登记。如果因故不能亲自到婚姻登记处申请，且存在档案可查且档案信息与身份信息一致的情况，可以委托他人办理。

在委托他人办理时，需要提交以下材料：

1. 当事人的户口簿、身份证；
2. 经公证机关公证的授权委托书。委托书应当写明当事人姓名、身份证件号码、办理婚姻登记的时间及承办机关、目前的婚姻状况、委托事由、受委托人的姓名和身份证件号码；
3. 受委托人应当同时提交本人的身份证件。

请注意，不同地区的具体办理流程和要求可能有所不同。因此，在办理前，建议先咨询当地婚姻登记机关或查阅相关政府网站，了解具体的办理指南和要求。此外，委托书代理离婚涉及法律程序和权益问题，建议咨询专业律师以确保合法性和有效性。