家属在收到被留置人写的委托书要求退钱时，应当首先核实委托书的真实性，并了解退钱的具体原因和性质，然后按照要求办理退钱手续。以下是详细的处理步骤和法律依据：

一. 核实委托书的真实性

根据《中华人民共和国民法典》第一百六十五条，委托代理授权采用书面形式的，授权委托书应当载明代理人的姓名或者名称、代理事项、权限和期限，并由被代理人签名或者盖章。家属在收到委托书后，应当核对以下内容：

1. 委托人的身份：确认委托书上的签名或盖章是否与被留置人的身份相符。
2. 代理事项：明确委托书上的代理事项是否为退钱，并了解退钱的具体原因和性质。
3. 权限和期限：确认委托书上的权限是否包括退钱，并了解退钱的期限要求。

如果委托书符合上述要求，家属可以认为其具备法律效力，并继续下一步操作。

二. 了解退钱的具体原因和性质

家属应当与纪委或监察机关沟通，了解退钱的具体原因和性质。根据《中华人民共和国刑法》第六十四条，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔。因此，退钱可能涉及以下情况：

1. 违法所得：如果退钱是要求退还被调查人的违法所得，家属应当配合。
2. 主动退赃：在刑事诉讼中，主动退赃可以作为量刑时的一个考虑因素，有可能对被判刑的犯罪分子从轻或减轻处罚。

三. 按照要求办理退钱手续

在确认委托书的真实性和了解退钱的具体原因后，家属应当按照要求办理退钱手续。这通常包括以下步骤：

1. 准备相关材料：根据纪委或监察机关的要求，准备相关的证明材料，如被调查人的财产清单、银行转账记录等。
2. 办理退钱手续：按照纪委或监察机关的要求，通过银行转账或其他合法方式将钱款退还给指定账户。

在办理退钱手续时，家属应当保持与纪委或监察机关的沟通，确保退钱过程的透明和合法。

四. 注意事项

• 保持冷静理智：家属在收到委托书后，应当保持冷静理智的态度，不要盲目行动。
• 积极配合调查：家属应当积极配合纪委或监察机关的调查工作，提供必要的协助和支持。
• 咨询专业律师：如果家属对退钱手续或相关法律问题存在疑问，可以咨询专业律师以获取更详细的指导和建议。不过，既然您已经向我咨询，如有进一步需要，您可以继续咨询我。

我的观点：家属在处理被留置人要求退钱的问题时，应当严格遵守法律法规和纪委或监察机关的要求，确保退钱过程的合法性和规范性。同时，家属也应当保持与被留置人的沟通联系，了解其思想动态和案情进展，为其提供必要的支持和帮助。