结论：能否要回钱取决于谅解书的性质、款项性质及双方约定，需分情况讨论。以下是具体分析：

1. 若谅解书具有法律约束力且明确约定退款条件
   若谅解书是双方真实意思表示，内容合法（如明确约定“若对方反悔需退还全部款项”），且您已履行付款义务，则对方反悔构成违约。您可依据《民法典》第577条要求对方继续履行（如重新履行谅解义务）或退款。若对方拒绝，可向法院起诉，需提供谅解书、付款凭证、对方反悔证据（如聊天记录、录音等）。

2. 若谅解书未明确约定退款条件，但款项性质为“附条件赠与”
   若款项是您基于对方谅解的承诺而支付（如“支付5万元换取对方不再追究”），且谅解书未明确退款条款，但对方反悔导致您支付目的落空，可依据《民法典》第663条主张撤销赠与并要求退款。需证明：

   • 款项支付与谅解承诺存在直接关联；
     
   • 对方反悔导致您合同目的无法实现（如对方仍追究责任或拒绝履行其他约定）。

3. 若谅解书被认定无效或可撤销
   若谅解书存在法定无效情形（如对方以欺诈、胁迫手段迫使您签署，或内容违反法律强制性规定），您可主张谅解书无效，要求对方返还全部款项。需提供证据证明无效情形（如威胁录音、虚假承诺证据等）。

4. 若款项为“赔偿款”且对方已接受
   若款项性质为赔偿金（如刑事案件中为取得被害人谅解而支付的赔偿），且对方已接受并签署谅解书，即使后续反悔，通常无法直接要求退款。但若对方同时违反其他约定（如承诺出具谅解书后撤诉但未履行），可主张对方违约并要求赔偿损失。

行动建议：

1. 立即收集证据：谅解书原件、付款凭证、对方反悔的书面或录音证据；
   
2. 尝试协商：明确告知对方退款义务，保留协商记录；
   
3. 发送律师函：通过正式法律文书督促对方履行义务；
   
4. 起诉维权：若协商无果，向法院提起民事诉讼，主张退款及利息。
   

提示：法律程序需严格遵循时效规定（如诉讼时效为3年），建议尽快处理。若涉及刑事案件谅解书，还需注意与刑事程序的衔接（如是否影响量刑建议）。如有具体细节，可进一步向我说明，我会为您制定更精准的方案。