结论：单位让员工签赔偿协议规定违约要把补偿金退给公司，这一条款是否合法需分情况讨论，一般情况下，若该条款违反法律法规强制性规定或显失公平，则可能被认定为无效；若条款合法且双方自愿签署，则可能具有法律效力。以下为详细分析：
一、条款合法性分析
违反法律法规强制性规定：
- 根据《中华人民共和国劳动合同法》及相关法律法规，用人单位与劳动者签订的协议或条款，不得违反法律法规的强制性规定。若赔偿协议中的“违约要把补偿金退给公司”条款，违反了法律法规中关于劳动报酬、经济补偿等强制性规定，则该条款可能被认定为无效。
- 例如，若劳动者因用人单位违法行为（如未依法缴纳社会保险费、未及时足额支付劳动报酬等）而解除劳动合同，并依法获得经济补偿，此时若要求劳动者因“违约”退还补偿金，显然违反了法律法规的强制性规定，该条款无效。
显失公平：
- 根据《中华人民共和国民法典》的相关规定，民事法律行为应当遵循公平原则。若赔偿协议中的条款明显对一方不利，导致双方权利义务严重失衡，则可能构成显失公平。
- 在劳动工伤（工资福利）领域，若用人单位利用其优势地位，迫使劳动者签署对其不利的赔偿协议，如要求劳动者在违约时退还全部或部分补偿金，而该补偿金是劳动者依法应得的，则该条款可能因显失公平而被认定为无效。
二、条款效力分析
合法且双方自愿签署：
- 若赔偿协议中的条款不违反法律法规的强制性规定，且双方是在平等、自愿、协商一致的基础上签署的，则该条款可能具有法律效力。
- 但需要注意的是，即使条款合法且双方自愿签署，若劳动者在签署时存在重大误解或受欺诈、胁迫等情形，该条款也可能被撤销或认定为无效。
条款无效或被撤销后的法律后果：
- 若赔偿协议中的条款被认定为无效或被撤销，则该条款自始不具有法律效力，用人单位不得依据该条款要求劳动者退还补偿金。
- 此时，若劳动者已退还补偿金，用人单位应予以返还；若因此给劳动者造成损失的，用人单位还应承担赔偿责任。
三、建议与风险提示
对于劳动者：
- 在签署赔偿协议前，务必仔细阅读协议条款，确保自己理解并同意所有内容。
- 若对协议条款有疑问或认为存在不公平之处，应及时向用人单位提出并协商修改。
- 若用人单位坚持要求签署对其不利的条款，劳动者有权拒绝签署并寻求法律援助。
对于用人单位：
- 在制定赔偿协议时，应确保协议条款合法合规，不得违反法律法规的强制性规定。
- 应遵循公平原则，确保双方权利义务平衡，避免构成显失公平。
- 在签署协议前，应向劳动者充分解释协议条款内容，确保劳动者理解并同意所有内容。
如有具体法律问题或需要进一步的法律帮助，请直接向我咨询。