结论：骗取失业金退还时，法人是否有责任需根据具体情况判断。若法人直接参与骗取行为或存在管理过失，则需承担相应责任；若法人无过错，则通常无需担责。以下从不同角度详细分析：
一、法人直接参与骗取失业金的情况
法律责任：
- 若法人作为单位负责人或直接责任人员，参与骗取失业金的行为，如伪造材料、虚构事实等，将构成违法行为。
- 根据《社会保险法》第八十八条：“以欺诈、伪造证明材料或者其他手段骗取社会保险待遇的，由社会保险行政部门责令退回骗取的社会保险金，处骗取金额二倍以上五倍以下的罚款。”同时，若涉及金额较大或情节严重，还可能构成犯罪，依法追究刑事责任。
具体情形：
- 例如，法人指使员工伪造离职证明、虚构失业事实等，以骗取失业金。在此情况下，法人作为直接责任人员，需承担法律责任。
二、法人未直接参与但存在管理过失的情况
法律责任：
- 若法人未直接参与骗取行为，但因管理不善、监督不力等过失，导致单位内部发生骗取失业金的情况，法人可能需承担一定的管理责任。
- 虽然法人可能不会直接受到刑事处罚，但可能面临行政处罚，如被社会保险行政部门责令改正、罚款等。同时，法人还需承担因管理过失导致的单位内部损失和声誉损害。
具体情形：
- 例如，法人未建立健全的内部控制制度，对员工提交的失业金申请材料未进行严格审核，导致骗取行为得以发生。在此情况下，法人虽未直接参与骗取，但需承担管理责任。
三、法人无过错的情况
法律责任：
- 若法人完全不知情且未参与骗取行为，同时已尽到合理的管理和监督义务，则通常无需承担法律责任。
- 在此情况下，骗取失业金的行为应由直接责任人员承担，法人不承担连带责任。
具体情形：
- 例如，法人已建立健全的内部控制制度，对员工提交的失业金申请材料进行了严格审核，但仍有员工通过其他手段骗取失业金。在此情况下，法人已尽到合理的管理和监督义务，无需承担法律责任。
四、建议与措施
加强内部管理：
- 法人应建立健全的内部控制制度，明确各部门和岗位的职责和权限，加强对员工提交的社会保险申请材料的审核和监督。
提高法律意识：
- 法人应加强对员工的法律培训和教育，提高员工的法律意识和合规意识，防止骗取社会保险等违法行为的发生。
及时配合调查：
- 若发生骗取失业金的情况，法人应积极配合社会保险行政部门的调查和处理工作，及时退回骗取的社会保险金，并承担相应的法律责任。
如有更多关于劳动工伤或社保纠纷的问题，可以直接向我咨询。我会根据你的具体情况，提供更详细、更专业的法律建议。