贪污受贿的钱买来的房子，并不一定要全部退回，而是需要根据具体情况来决定。以下是对这一问题的详细分析：

1. 主动退赃与法院判决：

   • 如果当事人愿意主动退赃，可以将通过贪污受贿所得购买的房产退回，作为退赃的一部分。
   • 如果当事人不主动退赃，法院在判决时可能会依据相关法律法规，对涉案房产进行依法处理。

2. 第三方权益保护：

   • 如果房产的购买过程中涉及到了第三方的合法权益，比如房产已经过户给了善意第三人，那么在处理房产时就不能损害第三方的权益。
   • 在这种情况下，法院可能会选择对涉案人员的其他资产进行清算和处置，而不是直接退回房产。

3. 强制执行与拍卖：

   • 如果涉案人员明知自己的行为构成了犯罪，并且仍然用贪污受贿的钱款购入房产，那么法院有权对该房产实行强制执行。
   • 经过公开拍卖后，拍卖所得的款项会按照赃款的金额计算，并按比例进行没收或返还给受害者。

4. 法律依据：

   • 根据《刑法》的相关规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔。这意味着，通过贪污受贿所得购买的房产，在法律上是可以被追缴或责令退赔的。
   • 同时，法律也规定了对于贪污犯罪的刑罚尺度，包括有期徒刑、拘役、罚金、没收财产等。这些刑罚措施会根据贪污的数额和情节的严重程度来具体确定。

综上所述，贪污受贿的钱买来的房子是否要退回，取决于多种因素，包括当事人的主动退赃意愿、第三方的权益保护、法院的判决以及法律依据等。因此，在处理这类问题时，需要综合考虑各种情况，并依据相关法律法规进行妥善处理。如果你面临类似的问题或疑虑，建议直接向我咨询，我会根据你的具体情况提供专业的法律建议。