结论：在伤残赔偿5年的情况下，若伤者在第二年死亡，通常不需要退回剩余三年的赔偿金，但具体还需根据赔偿金的性质、支付方式以及相关法律法规或合同条款来确定。
分析说明：
赔偿金的性质：
- 伤残赔偿金通常是对伤者因伤残导致的未来收入损失、生活费用增加等长期影响的补偿。这种赔偿金往往是一次性或分期支付的，旨在覆盖伤者未来一段时间内的经济损失。
- 如果赔偿金是按照伤者的预期寿命或特定年限（如5年）来计算的，并且已经一次性支付给了伤者或其家属，那么在伤者死亡后，剩余年限的赔偿金通常不需要退回。因为这部分赔偿金已经是对伤者未来可能损失的预估和补偿，无论伤者是否实际存活到该年限，赔偿金的目的已经达成。
支付方式：
- 如果赔偿金是分期支付的，且伤者在支付期间内死亡，那么后续未支付的赔偿金自然不再支付。但已经支付的部分，除非有特别约定或法律法规规定，否则通常不需要退回。
相关法律法规或合同条款：
- 具体的赔偿金支付和退回问题，还需要参考相关的法律法规或合同条款。例如，如果赔偿协议或法院判决中明确规定了赔偿金的支付方式、期限以及退回条件，那么应按照这些规定来执行。
- 在没有明确规定的情况下，通常遵循公平、合理的原则来处理。即，已经支付的赔偿金是对伤者过去和未来可能损失的补偿，不应因伤者的死亡而要求退回。
特殊情况：
- 如果赔偿金中包含了特定的医疗费用、护理费用等，且这些费用在伤者死亡后尚未使用或未完全使用，那么这部分费用可能需要根据实际情况进行退回或调整。但这通常不是针对整个剩余年限的赔偿金，而是针对特定费用的处理。
行动建议：
- 在处理此类问题时，建议首先查阅相关的赔偿协议、法院判决或法律法规，以明确赔偿金的性质、支付方式和退回条件。
- 如果对具体条款或规定存在疑问或争议，可以寻求专业律师的帮助，以维护自身合法权益。
法律依据（虽未直接引用具体法条，但基于法律原则）：
- 伤残赔偿金的支付和退回问题，通常受到《侵权责任法》（现融入《民法典》侵权责任编）、《工伤保险条例》等相关法律法规的调整。这些法律法规旨在保护伤者的合法权益，确保赔偿金的合理支付和使用。
如有更多关于劳动工伤、工伤鉴定和赔偿方面的疑问，可以直接向我咨询。