结论：能否向公司要罚款的钱，需分情况讨论，主要取决于罚款的合法性、协商离职协议内容以及是否超过法定时效等因素。以下是具体分析：
- 罚款的合法性是关键前提
根据《劳动合同法》及相关规定，用人单位无权对劳动者设定罚款，除非符合以下两种情形：
- 法定罚款：如劳动者因故意或重大过失给用人单位造成经济损失，用人单位可依据劳动合同或规章制度要求赔偿，但每月扣除部分不得超过工资的20%，且扣除后工资不得低于当地最低工资标准。
- 规章制度合法性：若公司通过民主程序制定规章制度（如员工手册），明确规定某些行为可罚款（如旷工、严重违纪），且内容不违反法律强制性规定，可能被认定为有效。但此类罚款仍需符合“合理性”原则，不能过度剥夺劳动者权益。
若罚款本身不合法（如公司随意扣款、无制度依据），即使已签协商离职协议，你仍有权通过劳动仲裁要求返还。
协商离职协议的约定效力
- 若协议中明确放弃罚款追索权：例如协议载明“双方确认工资、奖金、罚款等所有费用已结清，无其他争议”，则可能被视为你对罚款的放弃，后续难以主张。
- 若协议未提及罚款：或仅笼统表述“无其他争议”，但未明确放弃罚款权利，则你仍可单独就罚款问题提出主张。
- 存在欺诈、胁迫或显失公平：若签订协议时公司以不签就不给离职证明等手段胁迫你，或罚款金额远超实际损失，可申请撤销协议中相关条款。
时效与证据问题
- 劳动仲裁时效：自你知道或应当知道权利被侵害之日起1年内提出。若离职时未主张罚款返还，需在1年内申请仲裁。
- 证据保留：需提供罚款依据（如扣款通知、工资条、规章制度）、协商离职协议等材料，证明公司存在违法扣款行为。
建议行动步骤：
- 梳理公司罚款的依据（如制度条款、扣款记录）；
- 检查协商离职协议中是否涉及罚款放弃条款；
- 若罚款不合法或协议未明确放弃，可向公司协商返还，协商不成可申请劳动仲裁；
- 注意时效限制，尽快行动。
如有进一步细节（如罚款原因、协议具体内容），可向我补充说明，我会为你分析具体风险点。