结论：被单位辞退时是否需要补偿单位培训的钱，主要取决于是否签订了服务期协议、用人单位是否为职工提供了专项培训费用以及辞退的具体原因。以下是对此问题的详细分析：
一、需要赔偿培训费的情况
签订了服务期协议且提供了专项培训：
- 如果用人单位为劳动者提供了专项培训费用，并进行了专业技术培训，同时与劳动者订立了服务期协议，那么劳动者在服务期内因违反服务期约定（如主动离职或存在法定可要求支付违约金的情形）被辞退时，需要按照约定向用人单位支付违约金。违约金的数额不得超过用人单位提供的培训费用，且不得超过服务期尚未履行部分所应分摊的培训费用。
- 具体情形：根据《中华人民共和国劳动合同法实施条例》第二十六条，若劳动者严重违反用人单位的规章制度、严重失职给用人单位造成重大损害、同时与其他用人单位建立劳动关系对完成本单位工作任务造成严重影响、以欺诈胁迫手段订立或变更劳动合同、或被依法追究刑事责任等情形下被辞退，用人单位可以要求劳动者支付违约金。
员工存在过错导致被辞退：
- 如果员工因上述法定可要求支付违约金的情形导致被辞退，用人单位可以要求员工承担相应比例的培训费用赔偿责任。
二、不需要赔偿培训费的情况
未签订服务期协议或未提供专项培训：
- 如果用人单位未与职工签订服务期协议，或者虽然签订了协议但未明确约定培训费用的补偿方式，或者用人单位提供的只是普通的入职培训、岗位适应性培训或未实际支出专项培训费用，那么职工被辞退时通常无需赔偿培训费用。
用人单位存在过错导致辞退：
- 如果劳动者依照《中华人民共和国劳动合同法》第三十八条的规定解除劳动合同的（即用人单位存在过错，如未及时足额支付劳动报酬、未依法为劳动者缴纳社会保险费等违法情形导致职工被辞退，或者用人单位是违法解除劳动合同，如无合理理由随意辞退员工），那么不属于违反服务期的约定，用人单位不得要求劳动者支付违约金。在这些情况下，不仅职工无需赔偿培训费用，反而有权要求用人单位按照经济补偿标准的二倍支付赔偿金。
三、实际操作建议
- 审查协议有效性：如果单位要求赔偿培训费用，劳动者应首先审查服务期协议的有效性，包括是否明确约定了培训费用、服务期限等关键条款。
- 协商解决方案：与用人单位沟通，说明离职原因及实际情况，尝试协商减少违约金金额或分期支付等方式。
- 寻求法律援助：若协商无果，劳动者可以向当地劳动监察部门投诉或申请劳动仲裁，准备相关证据材料（如劳动合同、工资条、培训记录等）以支持自身主张。
总结：被单位辞退时是否需要补偿培训费用，是一个具体问题具体分析的问题。在实际操作中，建议双方根据具体情况进行协商，并在必要时寻求法律专业人士的帮助以明确各自的权利和义务。如果你有具体的法律问题或需要进一步的法律建议，可以直接向我咨询。