结论：情人给你的现金你存自己卡里买房，是否会被追回取决于多种因素，包括资金来源、转账金额大小、是否存在合理债务关系等。以下从不同角度进行分析：

1. 资金来源于情人夫妻共同财产且未经其配偶同意

   • 法律分析：根据《中华人民共和国民法典》第一千零六十二条，夫妻在婚姻关系存续期间所得的财产，为夫妻共同财产，双方有平等的处理权。若情人给你的钱属于夫妻共同财产，且他未经妻子同意擅自将大额资金给予你用于购房，这种行为可能被视为对夫妻共同财产的擅自处分。在此情况下，他老婆有权主张该处分行为无效，并要求你返还相应款项。
   • 举例说明：比如，情人在未告知妻子的情况下，将自己工资卡中的50万元转给你让你买房，这50万元如果是他们夫妻关系存续期间的收入，就属于夫妻共同财产，妻子有权追讨。

2. 资金来源无法证明是情人夫妻共同财产或存在合理债务关系

   • 法律分析：如果无法证明资金来源于情人夫妻共同财产，或者你与情人之间存在合理的债权债务关系等特殊情况，那么他老婆可能难以要回去。例如，情人之前向你借过一笔钱，后来以现金形式偿还并用于你购房，且有借条等相关证据证明这种债务关系的存在，那么这笔钱就不属于擅自处分的夫妻共同财产，他老婆一般不能要求返还。
   • 举例说明：若情人给你的现金是他个人的婚前积蓄或明确可区分不属于夫妻共同财产的个人投资收益，且你能提供相应证据，那么他老婆主张返还的依据不足。但这种情况在实际中较难举证和认定。

3. 情人主动赠与且金额较小

   • 法律分析：如果情人只是偶尔给一些小金额的现金作为礼物或生活费用，你存入自己账户后用于购房，这种情况下通常视为情人对你的赠与，他老婆很难要求返还。因为小额赠与在日常生活中较为常见，一般不会被认定为对夫妻共同财产的重大擅自处分。
   • 举例说明：情人偶尔给你几千元作为生日礼物，你存入自己账户后用于购房，这种情况下，他老婆通常无法要求返还。

4. 情人长期、大额转账用于购房且无合理理由或债务关系

   • 法律分析：要是情人长期、大额地给你转账用于购房，且没有合理的理由或债务关系支撑，这种行为很可能被认定为对夫妻共同财产的侵犯。他老婆一旦发现，有较大可能性通过法律诉讼要求你返还购房款项。
   • 举例说明：情人连续几年每年给你转账数十万元用于购房，且没有合理的解释或债务关系证明，这种情况下，他老婆有权要求你返还购房款项。

建议：

• 如果你收到了情人给的现金并用于购房，建议保留好相关证据，如转账记录、聊天记录等，以证明资金来源和性质。
• 如果情人给你的资金可能涉及夫妻共同财产，且你担心未来可能产生纠纷，建议与情人签订书面协议，明确资金性质和用途。
• 如果面临法律纠纷或需要法律帮助，请及时向我咨询，我会根据你的具体情况提供专业的法律意见和帮助。