留置人员不能直接通过自己卡里的存款退还赃款，需通过法定程序进行退赃。具体分析如下：

1. 留置期间的法律限制
   根据《监察法》规定，留置是监察机关对涉嫌严重职务违法或犯罪的公职人员采取的强制措施。在此期间，留置人员的财产可能已被依法冻结或监控，个人无权随意处置卡内资金。即使资金来源合法，退赃也需通过监察机关或司法机关的指定程序完成，以确保资金流向合法、透明。

2. 退赃的法定程序
   退赃需遵循以下步骤：

   • 主动配合调查：留置人员应如实向监察机关说明赃款来源、金额及存放情况，并表达退赃意愿。
     
   • 资金划转：在监察机关或司法机关的监督下，通过银行转账等合法方式将赃款退至指定账户（如国库或受害单位账户），而非直接退还给个人或第三方。
     
   • 书面确认：退赃后需取得相关机关出具的收据或证明，作为后续量刑或行政处理的依据。

3. 直接退还的风险

   • 程序违法：若留置人员私自通过卡内资金退赃，可能因未履行法定程序被认定为无效，甚至涉嫌隐匿、转移财产，加重法律责任。
     
   • 资金性质认定：若卡内资金与赃款混同（如部分合法、部分非法），需由司法机关厘清后依法处理，个人擅自处置可能导致合法财产被误扣。

4. 建议行动

   • 立即委托家属或律师：通过合法途径向监察机关提交退赃申请，并配合提供资金证明、交易记录等材料。
     
   • 保留证据：保存所有与退赃相关的书面文件、转账记录，以备后续法律程序使用。
     
   • 咨询专业律师：若对退赃程序或资金性质有疑问，可进一步向我咨询，我会结合具体案情提供法律指导。

总结：留置人员退赃必须通过法定程序，私自处置卡内资金可能引发法律风险。建议积极配合调查，依法完成退赃流程，以争取从轻处理。