收到短信说要退失业金，这有可能是真的，但也可能存在诈骗的情况。为了判断短信的真实性，你可以按照以下步骤进行核实：

一、核实短信来源

1. 查看短信发送方：正规的退款通知通常会由政府部门或官方机构发送，如“XX市人力资源和社会保障局”或“XX市就业创业服务中心”。如果短信发送方是未知号码或看似不正规的机构，应提高警惕。

2. 搜索官方信息：可以通过搜索引擎或政府官方网站搜索相关公告或通知，看是否有与你收到的短信内容相符的官方信息。

二、核实短信内容

1. 核对个人信息：短信中通常会包含你的姓名、违规时间、违规金额等具体信息。如果这些信息与你实际情况不符，那么短信很可能是诈骗信息。

2. 查看退款要求：正规的退款通知会明确告知退款金额、退款方式、退款期限等具体信息。如果短信只是简单地要求你退款，而没有提供详细的退款信息，那么应谨慎对待。

三、官方渠道咨询

如果你对短信的真实性存在疑问，可以通过官方渠道进行咨询。例如，拨打当地人力资源和社会保障局的咨询热线，或前往官方网站查询相关信息。

四、注意事项

1. 不要轻信陌生链接：如果短信中包含陌生链接，不要轻易点击。诈骗分子可能会通过链接诱导你输入个人信息或进行转账操作。

2. 保护个人信息：在任何情况下，都不要轻易将个人信息（如身份证号、银行卡号、密码等）透露给陌生人或未知机构。

综上所述，收到要求退失业金的短信时，应保持冷静并仔细核实。如果确认是真实的退款通知，应按照要求及时退款；如果怀疑是诈骗信息，应立即报警并通过官方渠道进行核实。