结论：员工犯错给单位造成损失，退回损失金后单位解除劳动合同是否合法，需根据具体情况判断，主要看是否符合《劳动合同法》中关于用人单位解除劳动合同的法定情形。

详细分析：

1. 法定解除情形：

   • 根据《劳动合同法》第三十九条，劳动者有下列情形之一的，用人单位可以解除劳动合同：……（三）严重失职，营私舞弊，给用人单位造成重大损害的；……。若员工犯错属于“严重失职，营私舞弊，给用人单位造成重大损害”的情形，且员工已退回损失金，但此行为本身已构成严重违反用人单位规章制度或劳动合同约定，用人单位有权解除劳动合同，且无需支付经济补偿。

2. 非法定解除情形：

   • 如果员工犯错并未达到“严重失职，营私舞弊，给用人单位造成重大损害”的程度，或者虽然造成了一定损失，但退回损失金后，用人单位并未因此遭受重大损害，且员工的行为不构成严重违反用人单位规章制度或劳动合同约定，那么用人单位单方面解除劳动合同可能构成违法解除。在此情况下，员工有权要求用人单位继续履行劳动合同或支付赔偿金。

3. 规章制度与劳动合同的约定：

   • 除了法定解除情形外，用人单位还可以根据自身制定的规章制度或劳动合同中的约定来解除劳动合同。但前提是这些规章制度或约定必须合法、合理，且已向员工公示或告知。如果规章制度或劳动合同中明确规定了员工犯错给单位造成损失的处理方式，包括解除劳动合同的条件，且这些条件不违反法律法规的强制性规定，那么用人单位在员工满足这些条件时解除劳动合同是合法的。

4. 退回损失金的影响：

   • 员工退回损失金的行为，可以视为对用人单位损失的一种补偿。但这并不意味着用人单位就失去了解除劳动合同的权利。是否解除劳动合同，还需根据员工犯错的性质、后果以及用人单位的规章制度和劳动合同约定来综合判断。

建议：

• 对于用人单位而言，在解除劳动合同前，应仔细审查员工犯错的性质、后果以及是否符合法定或约定的解除条件。同时，应确保自身制定的规章制度和劳动合同约定合法、合理，并向员工公示或告知。
• 对于员工而言，如果认为用人单位解除劳动合同的行为违法，可以依法向劳动争议调解仲裁机构申请调解或仲裁，维护自己的合法权益。

后续行动：

• 如果您是用人单位或员工，且面临此类问题，建议直接向我咨询，提供更详细的情况描述，以便我能给出更具体的法律建议。