结论：在您描述的情况下，您赔给对方的钱是否能够要回，主要取决于您是否能够证明对方存在过错且您不应承担全部或部分责任，以及您是否已经与对方达成了有效的赔偿协议。以下是从不同角度的详细分析：
事故责任认定：
- 根据一般的交通法规，逆行是严重的交通违法行为，逆行方通常应承担事故的主要或全部责任。如果您能够证明对方是逆行且因此导致了事故，那么对方在法律上应承担相应的责任。
- 在实际操作中，事故责任的认定往往依赖于交警部门出具的事故责任认定书。如果您尚未取得该认定书，建议尽快联系交警部门进行事故调查和责任认定。
赔偿协议的效力：
- 如果您已经与对方达成了赔偿协议，并且该协议是双方自愿、平等、公平的基础上签订的，那么该协议通常具有法律效力。这意味着，一旦协议签订，您就需要按照协议内容履行赔偿义务，除非存在法定或约定的解除条件。
- 如果您认为赔偿协议是在对方欺诈、胁迫或乘人之危的情况下签订的，或者协议内容显失公平，您可以在法定期限内请求人民法院或仲裁机构变更或撤销该协议。但这一过程需要提供充分的证据来支持您的主张。
追回赔偿的可能性：
- 如果您尚未与对方签订赔偿协议，或者协议尚未履行完毕，且您能够证明对方存在过错且您不应承担全部或部分责任，那么您可以与对方协商减少赔偿金额或撤销赔偿协议。
- 如果您已经按照赔偿协议支付了全部或部分赔偿款，但后来发现对方存在过错且您不应承担全部或部分责任，您可以尝试与对方协商退还部分或全部赔偿款。如果协商无果，您可以考虑通过法律途径追回赔偿款，如提起民事诉讼或申请仲裁。但这一过程需要您提供充分的证据来证明您的主张，并且可能面临一定的诉讼风险和成本。
建议与行动：
- 收集证据：尽快收集与事故相关的证据，如现场照片、视频、证人证言、交警部门的事故责任认定书等。这些证据将有助于您证明对方存在过错且您不应承担全部或部分责任。
- 咨询专业意见：在采取任何行动之前，建议您咨询专业的交通事故律师，以了解您的法律权利和义务，以及可能的法律后果和诉讼风险。
- 协商与诉讼：根据律师的建议和您的实际情况，您可以选择与对方协商解决或提起民事诉讼来追回赔偿款。
最后，需要强调的是，每个交通事故案件都有其独特的事实和法律背景，因此上述分析仅供参考。如果您有任何具体的法律问题或需要进一步的法律帮助，请直接向我咨询。我会根据您的具体情况提供个性化的法律建议和解决方案。