诈骗罪中，犯罪分子确实需要承担退回赃款的法律责任，这是法律明确规定的义务，也是影响量刑的重要因素。以下从多个角度为您详细分析：
一、法律依据
根据《中华人民共和国刑法》第六十四条的规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还。这一条款明确规定了诈骗犯罪分子必须退还其通过诈骗手段获取的财物，这是法律赋予的义务，也是维护社会公平正义、保护受害者合法权益的重要体现。
二、退赃的意义
保护被害人权益：退赃能够直接弥补被害人因诈骗行为遭受的经济损失，有助于恢复其正常的经济生活。特别是在涉及老年人养老钱等敏感案件中，及时退还赃款对于保障老年人的基本生活至关重要。
体现法律公正：通过追缴或责令退赔赃款，法律不仅惩罚了犯罪行为，还体现了对社会公正的维护，增强了法律的威严和公信力。
影响量刑：积极退赃是酌定从轻处罚的情节。犯罪分子在提起公诉前如实供述自己罪行、真诚悔罪、积极退赃，可以避免或减少损害结果的发生，从而在量刑时得到从轻、减轻甚至免除处罚的处理。这一规定鼓励犯罪分子认罪悔罪，促进案件的公正处理。
三、司法实践中的复杂情况
赃款已挥霍或无法追回：在实际操作中，可能存在犯罪分子已将赃款挥霍殆尽或用于投资、购买其他物品等复杂情况。即便如此，也不免除其退赃的责任。司法机关会根据具体情况采取相应措施，如冻结、扣押犯罪分子名下其他等值财产用于退赃，确保被害人的合法权益得到尽可能的恢复。
特殊情况的处理：若受害者已死亡，其法定继承人有权继承应退还的赃款，这是基于民法中关于继承权的相关规定。对于钱款已被挥霍或无法直接追回的情况，法院可能会根据案件具体情况判决犯罪分子进行赔偿，或通过其他方式尽力弥补受害者的损失。
四、退赃的具体操作与建议
主动退赃：犯罪分子应主动向公安机关、检察机关或法院退还赃款，以体现其认罪悔罪的态度。主动退赃有助于在量刑时获得从轻处理。
配合司法机关：在退赃过程中，犯罪分子应积极配合司法机关的工作，提供必要的协助和证据，以便司法机关能够顺利追回赃款并返还给被害人。
寻求法律帮助：如果您或您身边的人涉及诈骗罪案件，并面临退赃问题，建议及时咨询专业律师，了解具体的法律程序和注意事项，以便更好地维护自己的合法权益。
总结来说，诈骗罪中退赃是法律规定的义务，也是保护被害人权益、体现法律公正、影响量刑的重要举措。犯罪分子应充分认识到退赃的重要性，积极履行退赃义务，以争取更好的法律后果。如果您有任何法律问题或需要进一步的法律帮助，请直接向我咨询。