结论：对方能否追回这笔钱，取决于资金来源的合法性、双方是否存在真实交易关系以及对方是否采取合法手段追索等多个因素。以下分情况具体说明：

1. 如果资金来源合法且双方存在真实交易关系
   例如，对方因借款、买卖合同等合法原因向你支付现金，你存入自己账户后，对方通常不能随意追回。因为现金交付已完成，所有权已转移，除非对方能证明存在重大误解、欺诈、胁迫等法定撤销事由（需在1年除斥期间内起诉），或你未履行合同义务（如未交付货物），对方可通过诉讼要求你返还或继续履行。

2. 如果资金来源不合法或双方交易存在瑕疵

   • 对方资金为非法所得（如赌博、诈骗、贪污等）：若对方用赃款向你支付现金，你明知或应知资金非法仍接受，可能构成掩饰、隐瞒犯罪所得罪，公安机关可依法追缴赃款，此时对方（或司法机关）有权追回。
     
   • 交易存在瑕疵（如未签订书面合同、未留存交付凭证）：若对方事后反悔，但无法证明交易关系存在或资金用途，其追索主张可能因证据不足被法院驳回；但若你能自证交易合法（如提供聊天记录、证人证言等），则无需返还。

3. 如果对方以“不当得利”为由追索
   若对方主张支付现金属于误转（如输错账号）、重复支付或无合法依据的赠与，需举证证明。若法院认定构成不当得利，你会被要求返还；但若你能证明对方支付系出于真实意思表示（如借款、报酬等），则不构成不当得利，无需返还。

建议：

• 接收现金时，务必要求对方出具书面凭证（如收条、借条），注明资金用途、金额、支付方式，并保留交付现场的录音、录像或证人证言；
  
• 存入现金时，建议通过银行柜台办理，并如实填写资金来源（如“借款收入”“货款”等），避免因资金来源不明引发法律风险；
  
• 若对方已起诉追索，需积极应诉，提供交易凭证、沟通记录等证据，证明资金转移的合法性。
  

如有进一步疑问，可直接向我咨询具体场景下的法律应对方案。