在起诉阶段，如果被起诉人去世，退赔款是否可以退回需视具体情况而定。以下是从不同角度进行的分析：
一、案件尚未审结的情况
- 诉讼终结：根据相关法律规定，如果被起诉人在起诉阶段去世，且案件尚未审结，一般应终结诉讼。这是因为诉讼程序需要当事人的参与，被起诉人去世后，其诉讼主体资格消失，诉讼程序无法继续进行。
- 退赔款处理：在诉讼终结的情况下，如果之前已经预交了案件受理费或其他相关费用，这些费用通常应予以退还。因为诉讼程序未完成，预交的费用并未实际用于诉讼活动，所以应退还给预交人。对于退赔款而言，如果尚未进行退赔，且诉讼已终结，那么退赔款也应相应退回。
二、案件已经审结的情况
- 诉讼结果确定：如果案件已经审结，并作出了裁判结果，那么诉讼程序已经完成。此时，无论被起诉人是否去世，诉讼结果都具有法律效力。
- 退赔款处理：在案件已经审结的情况下，如果裁判结果中确定了退赔款，那么退赔款应按照裁判结果进行执行。即使被起诉人去世，其遗产或应承担义务的人仍需按照裁判结果履行退赔义务。因此，在这种情况下，退赔款通常不会退回。
三、特殊情况的处理
- 没有遗产或应承担义务的人：如果被起诉人去世后，没有留下任何遗产，也没有应当承担义务的人，那么诉讼将终结，且之前预交的案件受理费或其他相关费用应予以退还。对于退赔款而言，如果尚未进行退赔且没有可执行的财产或人，那么退赔款也可能无法执行，但并不意味着可以“退回”给起诉方，而是视为无法执行的情况。
- 遗产或应承担义务的人存在：如果被起诉人去世后留下了遗产，或者有应当承担义务的人，那么诉讼程序可能继续进行（如更换当事人），或者退赔款将由遗产或应承担义务的人来履行。
建议与注意事项
- 及时了解案件进展：如果涉及此类情况，建议及时与法院沟通，了解案件的最新进展和退赔款的处理情况。
- 保留相关证据：为了保障自己的权益，建议保留好与案件相关的所有证据和文件，以便在需要时提供证明。
- 咨询专业律师：由于法律问题具有复杂性和专业性，建议咨询专业律师以获取更准确和全面的法律建议。
如果有任何法律问题或需要进一步的法律帮助，请直接向我咨询。我会根据你的具体情况，提供更详细和专业的法律意见。