结论：付款人能否要回房子，需根据具体情况判断，主要取决于购房款的性质、是否存在借名买房协议、房屋实际使用情况等因素。

1. 若购房款被认定为借款或赠与，且无其他特殊约定，付款人一般难以要回房子

   • 借款情形：如果付款人能证明购房款是其借给你的，且双方存在明确的借贷合意（如借条、转账备注等），那么付款人只能要求你偿还借款本金及利息，而无权直接要回房子。因为房屋已经登记在你名下，你作为房屋的所有权人，对房屋享有完整的物权。
   • 赠与情形：如果购房款被认定为付款人对你的赠与，且赠与行为已经完成（即房屋已经过户到你名下），那么除非存在法定撤销赠与的情形（如严重侵害赠与人或其近亲属的合法权益、对赠与人有扶养义务而不履行等），否则付款人无权撤销赠与并要回房子。

2. 若存在借名买房协议，且协议合法有效，付款人可能根据协议约定要回房子或获得相应补偿

   • 借名买房协议：如果你们之间存在书面的借名买房协议，且协议内容合法有效（如不违反法律、行政法规的强制性规定，不违背公序良俗等），那么付款人可以根据协议约定要求你配合将房屋过户回其名下或获得相应的经济补偿。但需要注意的是，借名买房协议可能因涉及规避限购政策、逃避税收等而面临法律风险。
   • 实际履行情况：除了协议本身，法院还会考虑房屋的实际使用情况、购房款的支付情况、房屋产权登记情况等因素来综合判断借名买房关系的真实性及效力。如果付款人能够提供充分的证据证明借名买房关系的存在及实际履行情况，那么其主张要回房子或获得补偿的请求可能得到法院的支持。

3. 若购房款涉及家庭共同财产或存在其他特殊情况，需根据具体法律关系和事实进行判断

   • 家庭共同财产：如果购房款涉及家庭共同财产（如父母出资为子女购房，但出资部分属于父母与子女的共同财产），那么可能需要根据家庭内部的财产分配协议或法律规定来确定房屋的归属及付款人的权益。
   • 其他特殊情况：如存在欺诈、胁迫、恶意串通等情形导致房屋登记在你名下，付款人可能可以根据相关法律规定主张撤销房屋登记或要回房子。但这种情况需要付款人提供充分的证据来证明其主张。