您退赔的钱有可能要回来，但具体能否要回以及要回的金额，需视案件具体情况和法律程序而定。以下是从不同角度为您进行的分析：
一、法律程序角度
刑事追缴与退赔程序：
- 在刑事案件中，如果骗子被捕并判定有罪，法院会依法进行追缴或责令退赔。追缴是指将犯罪分子违法所得的一切财物，强制收回并上缴国库或返还给被害人；退赔则是指犯罪分子因犯罪行为给被害人造成损失的，应当予以赔偿。
- 如果您之前已经为了解卡而退赔了部分或全部款项，且这些款项被认定为骗子的违法所得，那么在刑事追缴或退赔程序中，您有权要求返还这部分款项。
民事诉讼途径：
- 如果刑事追缴或退赔程序未能完全弥补您的损失，或者您希望更快地获得赔偿，您可以考虑通过民事诉讼途径来追讨。
- 在民事诉讼中，您需要提供充分的证据证明您与骗子之间存在合同关系（如果涉及合同纠纷），以及骗子因违约或侵权行为给您造成了损失。法院会根据证据和法律规定，判决骗子承担相应的赔偿责任。
二、实际操作角度
与办案机关沟通：
- 在案件侦破和审理过程中，您可以积极与办案机关（如公安机关、检察院、法院）沟通，了解案件进展和追缴退赔情况。
- 如果办案机关已经追缴到部分或全部款项，您可以按照法定程序申请返还。
收集并保留证据：
- 无论通过刑事追缴还是民事诉讼途径追讨款项，您都需要收集并保留相关证据。这些证据可能包括转账记录、聊天记录、合同文本等。
- 证据是证明您权益的关键，务必确保其真实性和完整性。
关注案件进展并适时主张权利：
- 案件的处理可能需要一段时间，您需要保持耐心并关注案件进展。
- 在适当的时候，您可以向办案机关或法院主张您的权利，要求返还退赔的款项或获得相应的赔偿。
三、可能面临的挑战
款项已被挥霍或转移：
- 如果骗子在案发前已经将款项挥霍一空或转移至无法追回的地方，那么您可能无法完全追回退赔的款项。
证据不足或存在争议：
- 如果您提供的证据不足或存在争议，可能会影响法院对案件的判决和您的赔偿请求。
执行难问题：
- 即使法院判决骗子承担赔偿责任，如果骗子没有可供执行的财产或拒不履行判决，您也可能面临执行难的问题。
建议您：在案件处理过程中保持与办案机关的沟通，及时了解案件进展和追缴退赔情况；同时收集并保留相关证据，以便在需要时主张您的权利。如果有任何疑问或需要进一步的法律帮助，请随时向我咨询。