结论：针对您提出的“离职单位让我赔钱，钱赔了不让我走”的问题，这涉及到两个核心环节，一是赔偿的合法性，二是离职的合法性。以下我将从这两个方面为您详细分析。
一、关于赔偿的合法性
赔偿依据：
- 用人单位要求您赔偿，必须有明确的法律依据或合同约定。常见的赔偿情形包括：违反保密义务、竞业限制、给用人单位造成经济损失等。
- 如果用人单位无法提供充分的证据证明您存在上述行为或损失，那么其要求您赔偿的要求可能是不合法的。
赔偿程序：
- 即使存在赔偿情形，用人单位也应通过合法途径（如协商、调解、仲裁或诉讼）来主张赔偿，而不是单方面要求您支付。
- 如果您已经支付了赔偿，但用人单位无法提供合法依据，您有权要求用人单位返还赔偿款，并可以通过法律途径维护自己的权益。
二、关于离职的合法性
离职权利：
- 根据《中华人民共和国劳动合同法》的规定，劳动者享有离职的权利。您只需按照法律规定或合同约定的程序提出离职申请，并完成工作交接等手续，即可合法离职。
- 用人单位无权阻止您合法离职，即使您存在需要赔偿的情形，也应通过合法途径解决，而不是阻止您离职。
离职程序：
- 您应提前向用人单位提交书面离职申请，并明确离职日期和原因。
- 在离职前，您应与用人单位协商处理好工资结算、社保转移、工作交接等相关事宜。
- 如果用人单位阻止您离职或扣留您的相关证件、资料等，您有权向劳动监察部门投诉或申请劳动仲裁，维护自己的合法权益。
三、综合建议
核实赔偿依据：
- 要求用人单位提供要求您赔偿的合法依据和证据，如果无法提供，则无需支付赔偿款。
坚持离职权利：
- 明确告知用人单位您享有离职的权利，并按照法律规定或合同约定的程序提出离职申请。
寻求法律援助：
- 如果用人单位继续阻止您离职或采取其他不当行为，您可以向当地劳动监察部门投诉或申请劳动仲裁，必要时也可以考虑向法院提起诉讼。
保留证据：
- 在整个过程中，务必保留好相关证据（如离职申请、赔偿要求、沟通记录等），以便在需要时维护自己的权益。
四、可能法律后果
- 如果用人单位无法提供合法依据要求您赔偿，而您已经支付了赔偿款，您有权要求用人单位返还赔偿款，并可能获得因此产生的利息或其他损失赔偿。
- 如果用人单位阻止您合法离职，您有权通过法律途径维护自己的离职权利，并可能获得因此产生的经济损失赔偿（如工资损失、社保损失等）。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。