能否追回非法租赁手机交的钱，需分情况讨论：

1. 若租赁行为本身因违反法律强制性规定而无效
   根据《民法典》第153条，违反法律、行政法规强制性规定的民事法律行为无效。例如：

   • 租赁方无资质经营（如未取得融资租赁牌照）；
     
   • 租赁合同存在“以租代购”变相高利贷、套路贷等情形；
     
   • 手机来源非法（如盗窃、诈骗所得）。
     结论：合同无效后，对方需返还已收取的款项（扣除已使用手机的合理折旧费用），您可要求全额或部分追回。

2. 若租赁行为合法，但对方存在欺诈、胁迫等可撤销情形
   根据《民法典》第148-151条，若对方通过虚假宣传（如虚构手机性能）、隐瞒关键信息（如手机已抵押）或胁迫您签订合同，您有权请求法院或仲裁机构撤销合同。
   结论：合同撤销后，对方需返还全部款项，您可主张全额追回。

3. 若租赁行为合法且无撤销事由，但对方违约
   例如：对方未按约定提供手机、手机质量严重不符等。根据《民法典》第577条，您可要求对方承担违约责任（如修理、更换、减少价款或赔偿损失）。
   结论：若已支付款项与实际损失不符（如多付租金），可要求返还差额；但若合同已履行完毕且无违约，追回款项的难度较大。

行动建议：

1. 收集证据：保留租赁合同、付款记录、沟通记录（微信、短信等）、手机现状照片/视频等；
   
2. 协商解决：先与对方沟通，明确诉求（如退款、换机等）；
   
3. 投诉或诉讼：若协商无果，可向市场监管部门投诉（如12315）或直接向法院起诉，主张合同无效、撤销或违约赔偿。
   

提示：若涉及金额较大或对方拒不配合，建议尽快委托律师介入，通过法律程序维护权益。如有进一步疑问，可直接向我咨询具体操作流程。