赃物在法律上通常是需要退回的，这是基于法律原则、道德要求以及社会公序良俗的综合考量。以下是对此问题的详细分析：

一、法律依据

1. 《中华人民共和国刑法》的相关规定：

   • 根据《中华人民共和国刑法》第六十四条，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还；违禁品和供犯罪所用的本人财物，应当予以没收。没收的财物和罚金，一律上缴国库，不得挪用和自行处理。
   • 这一条款明确规定了赃物（包括赃款）的处理原则，即必须依法进行追缴、退赔或返还，以恢复受害者的财产损失。

2. 其他相关法律法规：

   • 除了刑法外，其他法律法规如《刑事诉讼法》等也对赃物的处理作出了相应规定，共同构成了赃物必须退回的法律基础。

二、退回赃物的意义

1. 维护受害者权益：

   • 赃物是犯罪分子通过非法手段获取的财物，其来源往往与受害者的财产损失直接相关。退回赃物可以弥补受害者的经济损失，恢复其合法权益。

2. 打击犯罪行为：

   • 责令退回赃物是打击犯罪的重要手段之一。通过追缴赃物，可以削弱犯罪分子的经济实力，降低其再次犯罪的可能性。同时，这也是对犯罪分子的一种惩罚和警示。

3. 维护社会公平正义：

   • 赃物的存在破坏了社会的公平正义原则。退回赃物可以纠正这种不公，使社会资源得到合理分配，维护社会的和谐稳定。

三、不退回赃物的后果

1. 法律责任加重：

   • 如果犯罪分子拒不退回赃物，将面临更严重的法律后果。法院在量刑时会考虑这一情节，可能对其判处更重的刑罚。

2. 信用记录受损：

   • 不退回赃物的行为将被记录在个人信用档案中，对个人未来的金融活动、职业发展等方面产生负面影响。

3. 社会舆论压力：

   • 在现代社会，公众对诚信和法治的关注度越来越高。不退回赃物的行为将受到社会的广泛谴责和舆论压力。

四、特殊情况及处理

在某些特殊情况下，可能存在赃物无法立即退回的情形，例如赃物已被转移、销毁或犯罪人确实没有经济能力退回。此时，犯罪人应如实向司法机关说明情况，并配合调查核实。虽然这种情况下可能无法实际退赃，但法院在量刑时会综合考虑犯罪人的经济状况等因素。然而，这并不免除其退赃的法律责任。一旦犯罪人具备偿还能力，仍需继续履行退赃义务。

举例说明：

假设某人因盗窃被捕，其盗窃的财物（如手机、现金等）即为赃物。根据法律规定，这些赃物必须被追缴并返还给受害者。如果该人拒不退回赃物，法院在量刑时可能会考虑这一情节，对其判处更重的刑罚。同时，该人的行为也将被记录在个人信用档案中，对其未来的生活产生负面影响。

总结与建议：

退回赃物不仅是法律明确规定的要求，也是维护社会公平正义、保护受害者合法权益的重要举措。因此，无论是从法律角度还是从道德层面来看，退回赃物都是必须的。如果你或你身边的人涉及此类问题，建议积极配合司法机关的工作，如实说明情况并尽快退回赃物。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。