用人单位主张双倍退还培训费是否合法，需视具体情况而定，不能一概而论。以下从不同角度进行分析：
一、合法情形
双方有明确约定：
- 如果用人单位与劳动者在劳动合同或培训协议中明确约定，劳动者在服务期内离职需双倍退还培训费，且该约定不违反法律法规的强制性规定，那么用人单位的主张可能是合法的。
- 法律依据：根据《劳动合同法》第二十二条，用人单位为劳动者提供专项培训费用，对其进行专业技术培训的，可以与该劳动者订立协议，约定服务期。劳动者违反服务期约定的，应当按照约定向用人单位支付违约金。违约金的数额不得超过用人单位提供的培训费用。用人单位要求劳动者支付的违约金不得超过服务期尚未履行部分所应分摊的培训费用。但此处并未直接规定双倍退还，因此，若双方有明确且合理的约定，可视为对违约金的特别约定，需确保该约定不显失公平。
劳动者存在恶意违约行为：
- 如果劳动者在接受培训后，立即离职或存在其他恶意违约行为，给用人单位造成重大损失，用人单位可能依据合同约定或相关法律规定，要求劳动者承担更高的赔偿责任，包括但不限于双倍退还培训费。但这种情况需要用人单位提供充分证据证明劳动者的恶意违约行为及造成的损失。
二、不合法情形
无明确约定或约定违法：
- 如果双方没有明确约定双倍退还培训费，或者约定违反了法律法规的强制性规定（如显失公平、违反公序良俗等），那么用人单位的主张将不被法律支持。
培训费退还超出合理范围：
- 即使双方有约定，但如果双倍退还培训费超出了用人单位实际提供的培训费用，或者超出了劳动者因违约给用人单位造成的实际损失，那么超出部分可能被视为不合理，不被法律支持。
- 法律依据：同样根据《劳动合同法》第二十二条，违约金的数额不得超过用人单位提供的培训费用，且用人单位要求劳动者支付的违约金不得超过服务期尚未履行部分所应分摊的培训费用。
三、建议与注意事项
审查合同条款：
- 劳动者在签订劳动合同时，应仔细审查关于培训费退还的条款，确保自己了解并同意相关约定。
- 用人单位在制定合同条款时，也应确保约定合法、合理，避免显失公平或违反法律法规的强制性规定。
保留证据：
- 双方都应保留与培训相关的证据，如培训协议、培训费用发票、培训记录等，以便在发生纠纷时提供证明。
协商与调解：
- 在发生纠纷时，双方应首先尝试通过协商或调解解决争议，以降低成本和减少负面影响。
法律途径：
- 如果协商或调解无果，双方可以通过法律途径解决争议，如申请劳动仲裁或提起诉讼。
如有具体法律问题或需要进一步的法律帮助，请直接向我咨询。我会根据你的具体情况，提供更详细、更专业的法律建议。