结论：老板罚你钱又退回，需分情况判断其合法性及后续处理方式，具体如下：

1. 若罚款本身不合法，退回是必然结果，但需关注其他潜在问题
   根据《劳动合同法》第九十条及《工资支付暂行规定》第十六条，用人单位仅在劳动者因本人原因给单位造成经济损失时，可按劳动合同约定要求赔偿，且每月扣除部分不得超过当月工资的20%，扣除后剩余工资不得低于当地最低工资标准。若罚款不符合上述条件（如未造成损失、未约定赔偿、超额扣除等），则属于违法行为。此时老板退回罚款是纠正违法行为，但劳动者仍需注意：

   • 保留罚款通知、工资条、转账记录等证据，以防后续纠纷；
     
   • 若单位存在其他违法行为（如未签合同、未缴社保等），可一并主张权利。

2. 若罚款合法但程序瑕疵，退回可能涉及补偿或协商
   若单位因劳动者过错造成损失而罚款，但未履行法定程序（如未举证损失、未协商赔偿比例、未书面通知等），劳动者可要求单位完善程序或直接退回罚款。若单位已退回，但劳动者认为赔偿比例不合理（如损失1000元却扣2000元），可要求单位重新核算；若单位拒绝，可通过劳动仲裁主张权利。

3. 若罚款合法且程序合规，退回可能基于其他原因（如管理调整、员工申诉等）
   若单位罚款完全符合法律规定（如有制度依据、已民主公示、损失与赔偿匹配等），但后续主动退回，可能是出于管理策略调整或员工申诉成功。此时劳动者无需额外主张，但建议与单位沟通确认退回原因，避免后续再次被扣款。若单位未说明原因，劳动者可要求书面说明，以备不时之需。

建议行动：

• 核对罚款依据：检查单位制度、劳动合同、损失证明等文件，判断罚款是否合法；
  
• 保留证据：所有与罚款、退回相关的通知、记录、沟通内容均需留存；
  
• 协商或投诉：若对罚款有异议，可先与单位协商；协商不成，可向劳动监察部门投诉或申请劳动仲裁。
  

如有进一步疑问，可直接向我咨询具体场景下的处理方案。