结论：被“小三”后原配起诉要求退钱，若不还钱是否会影响房子，这主要取决于房子的性质、钱款的来源以及法律判决的执行情况。以下从不同角度详细分析：
一、房子的性质与钱款来源
房子为夫妻共同财产：
- 如果房子是夫妻在婚姻关系存续期间共同购买的，那么它属于夫妻共同财产。在这种情况下，如果原配起诉要求“小三”退还因配偶出轨而赠与的钱款，且这些钱款来源于夫妻共同财产，那么法院很可能会支持原配的诉求。
- 若“小三”不履行法院判决的退还义务，原配可以申请强制执行。在强制执行过程中，如果房子属于可执行的财产范围（即非唯一住房或满足其他执行条件），那么房子有可能会被拍卖或变卖以偿还债务。
房子为个人财产：
- 如果房子是某一方在婚前购买的，或者虽然婚后购买但明确约定为个人财产，那么它就不属于夫妻共同财产。在这种情况下，即使原配起诉要求“小三”退还钱款，且这些钱款与房子无关，房子的所有权通常不会受到影响。
- 但是，如果“小三”不退还的钱款是用于购买或装修该个人房产的，且这部分钱款被认定为非法所得或应返还的财产，那么房子的处置可能会受到一定影响，具体取决于法院的判决和执行情况。
二、法律判决的执行情况
判决退还钱款：
- 如果法院判决“小三”退还钱款给原配，而“小三”不履行判决，原配可以申请强制执行。在强制执行过程中，法院会采取一系列措施来迫使“小三”履行判决，包括查封、扣押、拍卖财产等。
- 如果房子属于“小三”的可执行财产，且法院认为有必要拍卖或变卖房子以偿还债务，那么房子就有可能会受到影响。
判决不涉及房子：
- 如果法院的判决仅涉及钱款的退还，并未涉及房子的处置，那么房子的所有权通常不会受到影响。但是，“小三”仍然需要履行判决退还钱款的义务，否则可能会面临其他法律后果，如被列入失信被执行人名单等。
三、其他考虑因素
诉讼时效：
- 原配需要在法律规定的诉讼时效期间内提起诉讼，否则可能会丧失胜诉权。根据《中华人民共和国民法典》的规定，向人民法院请求保护民事权利的诉讼时效期间一般为三年。
证据充分性：
- 原配需要收集充分的证据来证明“小三”获取钱款的不正当性、具体数额以及自身受损失的情况。如果证据不足或无法形成完整的证据链，那么起诉可能难以成功。
建议：
- 如果您面临这样的情况，建议尽快收集相关证据，如转账记录、聊天记录、购房合同等，以证明钱款的来源和用途。
- 同时，咨询专业律师（即我本人）的意见，了解具体的法律程序和可能的法律后果，以便更好地维护自己的合法权益。
- 在诉讼过程中，积极配合法院的工作，履行自己的诉讼义务，争取获得有利的判决结果。