责令退赔是必须要退的，这是基于法律的规定和司法实践的要求。以下从多个角度为你详细解析：

一、法律基础与性质

根据《中华人民共和国刑法》第六十四条的规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还。责令退赔是刑事判决的一部分，具有法律强制力。这意味着，一旦司法机关作出责令退赔的决定，犯罪分子就负有履行该决定的法律义务，必须退赔。

二、执行方式与内容

1. 执行方式：当刑事判决生效后，被害人可以依据该判决向法院申请强制执行责令退赔部分。法院作为执行主体，将依法采取多种强制措施，如查询、冻结、划拨犯罪分子的银行存款，查封、扣押、拍卖其财产等，以确保退赔义务的履行。

2. 执行内容：法院在执行时，会首先追缴犯罪分子的违法所得。若违法所得已不存在（如被挥霍或毁坏），则法院会进一步执行犯罪分子的合法财产以赔偿被害人的损失。

三、与量刑的关系

在实际司法实践中，犯罪分子的退赔情况直接影响其量刑结果。积极退赔被视为悔罪表现的一种，法院在量刑时通常会考虑给予从轻处罚。相反，拒不退赔则可能加重刑罚，失去从轻量刑的机会。因此，从量刑的角度来看，责令退赔也是犯罪分子必须认真对待的法律义务。

四、未退赔的法律后果

如果犯罪分子未按照生效判决书中的要求履行退赔义务，被害人有权在法律文书规定履行期间的最后一日起两年内向人民法院申请强制执行。法院将采取一系列强制措施来确保退赔义务的履行，包括但不限于查询、冻结、划拨财产，查封、扣押、拍卖、变卖财产等。此外，法院还可以对被执行人采取限制出境、列入失信名单、限制高消费等限制措施。如果被执行人有能力执行而拒不执行，且情节严重，其行为可能构成拒不执行判决、裁定罪，将面临刑事处罚。

五、特殊情况下的处理

虽然责令退赔是法律明确规定的义务，但在具体案件中，是否能够实际退赔以及退赔的程度可能会受到多种因素的影响，如犯罪分子的经济状况、违法所得的流向等。然而，这并不意味着犯罪分子可以因此免除退赔义务。司法机关会根据案件的具体情况和法律规定来综合判断，并作出相应的处理决定。在大多数情况下，即使犯罪分子经济状况不佳，法院也会通过执行其合法财产或其他方式来尽量满足被害人的退赔需求。

总结与建议：

责令退赔是法律赋予被害人的重要权利保障措施，也是犯罪分子必须履行的法律义务。无论从法律层面还是实践层面来看，责令退赔都是必须要退的。如果你作为被害人遇到了犯罪分子拒不退赔的情况，建议及时向法院申请强制执行，并保留好相关证据材料。同时，你也可以咨询我，了解更多关于责令退赔的法律知识和维权途径。