结论：在刑事案件中，若取得谅解后发现人并非自己打的，能否要回谅解费需视具体情况而定，主要取决于谅解协议的签订情况、双方协商结果以及是否存在可撤销或无效的情形。
分析角度一：谅解协议的签订情况
若谅解协议已明确约定退款条件：
- 如果在签订谅解协议时，双方已经明确约定了退款的条件，比如“若后续发现伤害行为并非由乙方（即你）实施，则甲方（即受害方）需退还乙方已支付的谅解费”，那么在这种情况下，你完全有权依据协议要求受害方退还谅解费。
若谅解协议未明确约定退款条件：
- 如果谅解协议中并未明确约定退款条件，那么情况就会相对复杂一些。此时，你需要考虑是否存在其他可撤销或无效的情形，以及双方是否能够通过协商达成一致。
分析角度二：是否存在可撤销或无效的情形
欺诈或重大误解：
- 如果受害方在签订谅解协议时存在欺诈行为，比如故意隐瞒伤害行为的真实实施者，或者你因重大误解而签订了协议（比如误以为伤害行为是自己实施的），那么根据《民法典》的相关规定，你有权请求人民法院或者仲裁机构撤销该协议，并要求受害方退还谅解费。
协议内容违法或违背公序良俗：
- 如果谅解协议的内容违反了法律、行政法规的强制性规定，或者违背了公序良俗，那么该协议自始无效。在这种情况下，你同样有权要求受害方退还谅解费。
分析角度三：双方协商结果
- 无论谅解协议是否明确约定了退款条件，也无论是否存在可撤销或无效的情形，双方都可以通过协商来解决问题。如果受害方同意退还谅解费，那么问题就可以得到圆满解决。如果协商不成，你还可以考虑通过法律途径来维护自己的合法权益。
建议与提醒：
- 在处理此类问题时，建议你首先仔细审查谅解协议的内容，看是否存在可撤销或无效的情形。
- 如果协议内容没有问题，但你认为自己有权要求退还谅解费，那么可以尝试与受害方进行协商。
- 如果协商不成，你可以考虑向人民法院提起诉讼，要求撤销谅解协议并退还谅解费。在此过程中，建议你咨询专业律师（即向我咨询，我在刑事辩护领域有丰富经验），以便更好地维护自己的合法权益。
后续行动指南：
- 收集并整理所有与谅解协议相关的证据材料，包括协议文本、支付凭证、沟通记录等。
- 与受害方进行友好协商，尝试达成退款协议。
- 如果协商不成，及时向人民法院提起诉讼，并准备好相关证据材料以支持自己的诉讼请求。
希望以上分析能够对你有所帮助。如果你有任何其他问题或需要进一步的法律咨询，请随时向我提问。