结论：离职时能否要回之前被罚的钱，需根据罚款性质、公司规章制度合法性及具体证据情况综合判断，以下分情况说明：

1. 若罚款属于违法克扣工资
   根据《工资支付暂行规定》第十六条，用人单位仅在因劳动者本人原因给单位造成经济损失时，可按劳动合同约定要求赔偿，且每月扣除部分不得超过当月工资的20%。若公司以“罚款”名义直接扣减工资（如迟到罚款、未完成业绩罚款等），且无法证明损失与劳动者行为的直接因果关系，或扣除比例超过法定标准，则属于违法克扣工资。此时，劳动者有权通过劳动仲裁要求公司返还被扣款项，并可能主张经济补偿金。

2. 若罚款基于合法有效的规章制度
   若公司规章制度明确规定了罚款情形（如严重违反操作规程导致事故、泄露商业秘密等），且该制度经民主程序制定（如职工代表大会讨论）、已公示或告知劳动者，且内容不违反法律强制性规定（如罚款金额合理、与损失相当），则罚款可能被认定为合法。此时，劳动者要求返还罚款的诉求可能不被支持。但需注意：

   • 罚款金额需合理：若罚款金额明显高于实际损失（如迟到一次罚款500元，但实际损失仅10元），可能被认定为“以罚代管”，劳动者仍可主张返还超额部分；
     
   • 证据充分性：公司需提供充分证据证明劳动者存在违规行为及损失金额（如监控录像、损失清单等），否则可能承担举证不能的不利后果。

3. 若罚款属于“变相收费”或“押金”
   根据《劳动合同法》第九条，用人单位招用劳动者不得收取押金、扣押证件或要求提供担保。若公司以“罚款”名义变相收取费用（如入职时要求缴纳“风险金”、离职时以“未交接工作”为由扣款等），则属于违法行为，劳动者有权要求全额返还，并可向劳动监察部门投诉。

行动建议：

1. 收集证据：整理工资条、罚款通知、公司规章制度、劳动合同等材料，证明罚款事实及金额；
   
2. 协商沟通：先与公司协商，要求说明罚款依据并返还款项；
   
3. 申请仲裁：若协商无果，可在离职后1年内向劳动争议仲裁委员会申请仲裁，主张返还违法扣款及经济补偿；
   
4. 投诉举报：若涉及变相收费或押金，可向当地劳动监察大队投诉，要求查处违法行为。

提示：司法实践中，对“罚款”合法性的认定较为严格，公司需承担较高举证责任。若您有具体案例或证据材料，可进一步向我咨询，我会结合细节为您分析胜诉可能性及策略。