针对您提出的“已领取失业金四年后要求退回是否合法”的问题，这主要取决于您领取失业金期间的具体情况以及是否存在违规领取的行为。
首先，我们需要明确的是，失业保险金的领取是有严格条件的，这些条件通常包括失业状态、积极寻找工作、未享受其他养老保险待遇等。如果您在领取失业金期间重新就业、享受了基本养老保险待遇、移居境外、无正当理由拒不接受工作介绍或培训，或者存在伪造材料骗取失业金等违规行为，那么根据相关法律法规，您是需要退回已领取的失业金的。
一、违规领取失业金的常见情形
根据《中华人民共和国社会保险法》及相关规定，失业人员在领取失业保险金期间，如果出现重新就业、应征服兵役、移居境外、享受基本养老保险待遇、无正当理由拒不接受工作介绍或培训等情形，应当停止领取失业保险金。此外，伪造离职证明、劳动合同解除书等材料骗取待遇，以及跨地区或跨险种重复申领失业保险金等行为，也属于违规领取。
二、违规领取失业金的法律后果
全额退回资金并处罚款：如果您被确认存在违规领取失业金的行为，社会保险行政部门将责令您退回骗取的社会保险金，并可能处以骗取金额二至五倍的罚款。
纳入信用惩戒：违规骗取社保待遇的个人将被列入“社会保险严重失信人名单”，这将影响您的个人征信、贷款、出行等高消费活动。
追究刑事责任：如果骗取金额较大或情节严重，您可能构成《刑法》中的“诈骗罪”，面临刑事处罚。
影响后续社保权益：违规记录将纳入社保系统，可能导致您未来申领养老保险、工伤保险等待遇时受限。
三、特别提醒
大数据监管无死角：社保部门已与多部门联网，实时核查就业、参保状态，违规行为无所遁形。
主动退还从宽处理：如果您因疏忽导致误领，主动退还资金可依法从轻或免于处罚；拒不配合者将从重处理。
全民举报，全民监督：鼓励群众通过政务服务便民热线举报违规领取行为。
结论：
如果您在领取失业金期间存在违规行为，那么四年后要求退回失业金是合法的，并且您可能需要承担额外的法律责任。如果您没有违规行为，且领取失业金的过程完全符合法律法规，那么通常不会要求您退回已领取的失业金。但如果您对要求退回的决定有异议，建议您咨询专业的法律人士或联系当地的社会保险行政部门进行核实和申诉。