结论：赔偿协议书无效的情况下，收到钱是否可以退还，需根据具体情况判断，主要取决于协议无效的原因、双方过错程度以及款项性质等因素。以下从不同角度进行分析：

一、协议无效的常见原因及法律后果

1. 协议内容违法或违背公序良俗
   若赔偿协议书因内容违反法律、行政法规的强制性规定，或违背公序良俗（如赌博债务、虚假诉讼等）而被认定无效，根据《民法典》第一百五十七条，双方需返还因协议取得的财产。此时，收到钱的一方通常需退还，但若一方存在过错（如故意隐瞒违法事实），可能需承担赔偿责任。

2. 协议因欺诈、胁迫或显失公平订立
   若协议因一方欺诈、胁迫或乘人之危导致对方违背真实意思订立，或权利义务明显失衡（显失公平），受损害方有权请求法院或仲裁机构撤销协议。协议被撤销后，行为人因该行为取得的财产应当返还；不能返还或没必要返还的，应折价补偿。因此，收到钱的一方可能需退还，但若已用于弥补损失（如医疗费），可能无需全额退还。

3. 协议主体不适格或未生效
   若协议因主体不适格（如未成年人未经法定代理人同意）或未满足生效条件（如未签字盖章、未履行审批手续）而无效，双方需恢复原状。此时，收到钱的一方通常需退还，但若已实际履行部分义务（如部分赔偿），可能需扣除合理部分后退还。

二、款项性质对退还的影响

1. 赔偿款性质
   若款项明确为赔偿款（如人身损害赔偿、财产损失赔偿），且协议无效后无其他合法依据支持支付，收到钱的一方需退还。但若赔偿款已用于弥补实际损失（如医疗费、修理费），且损失客观存在，可能无需退还或仅退还超出部分。

2. 预付款或定金性质
   若款项为预付款或定金，协议无效后，根据《民法典》第五百八十七条，收受定金的一方不履行债务或履行不符合约定，应双倍返还定金；给付定金的一方不履行债务或履行不符合约定，无权请求返还定金。但若协议因违法无效，定金条款通常也无效，双方需按过错比例分担损失。

三、实务建议

1. 收集证据
   若您认为协议无效，需收集证据证明协议存在无效情形（如违法内容、欺诈证据、主体不适格等），以及款项性质（如转账记录、收条、协议文本等）。

2. 协商或诉讼

   • 协商：可与对方沟通，说明协议无效理由，协商退还款项或部分退还。
     
   • 诉讼：若协商无果，可向法院起诉，请求确认协议无效并要求返还财产。法院将根据双方过错、款项性质等因素判决退还金额。

3. 注意时效
   请求确认合同无效的诉讼时效为三年，自知道或应当知道权利受损之日起计算。建议尽快行动，避免超过时效。

示例：

• 若您因对方欺诈签订赔偿协议，且已支付10万元，后发现对方无赔偿义务，可起诉撤销协议并要求退还10万元。若对方能证明您也存在过错（如明知欺诈仍签字），法院可能判决您承担部分损失，退还部分款项。
  
• 若协议因违法无效（如赌博债务），您收到的钱需全额退还，且可能面临行政处罚或刑事责任。

如有进一步疑问或需具体法律帮助，可直接向我咨询。