通常情况下，若已退还失业金，一般不会被进一步追责。下面我详细为你解释一下：

由于失业保险制度的顶层设计存在信息滞后现象，导致失业人员在异地就业过程中容易产生违规领取失业保险津贴的行为。这类问题往往需要等候一段时间，直至审计机关、社会保障基金监管机构等汇总各地相关数据后才得以暴露出来。因此，在实际操作中，失业保险经办部门大多数情况下并不会追究已退还失业金的个人的责任，而是会将其视为不当得利的行为，仅要求退回相应款项。

不过，也需要注意到，虽然一般情况下不会追责，但并不意味着在所有情况下都绝对不会被追责。如果涉及严重的欺诈、恶意骗取失业保险金等行为，相关部门仍有可能依法进行追责。

综上所述，如果你已经退还了失业金，并且没有涉及其他严重的违法行为，那么一般情况下是不会被进一步追责的。但为了确保自己的权益，建议你还是咨询当地的社保部门或专业律师，以获取更具体、更准确的法律意见。如果你有任何其他问题或需要进一步的法律帮助，可以直接向我提问。