失业金在特定情况下是可以自己退回的。按照相关政策规定，失业人员在领取失业保险金期间，如果发生以下情形之一：重新就业、应征服兵役、移居境外或享受基本养老保险待遇等，应停止享受失业保险待遇。对于多领取的失业保险待遇，失业人员应主动退回。

具体来说，如果您因为重新就业而多领了失业金，您需要携带您的身份证及与新单位签订的“劳动合同书”到社保综合窗口临柜办理“失业保险待遇多领追回”业务。此外，社保机构也可能通过全国数据联网核查比对，发现存在多领失业保险待遇的情况，并会以电话、短信通知的方式告知您退回多发待遇。

在接到通知后，您需要在规定的时间内（如5个工作日内）将多发待遇退回至指定的社保基金支出户。请务必保管好退款凭证，如缴款单、电子转账记录等，以备查。如果您未能按期退款，可能会影响您其他社保待遇的处理，并需要承担相应的法律责任。

总的来说，失业金的退回主要涉及到多领或不符合领取条件的情况。如果您发现自己多领了失业金或不再符合领取条件，应及时主动退回，以避免不必要的麻烦。