结论：在此情况下，卖方是否有权利要回房子，取决于多个因素，包括房屋买卖协议的效力、五保户的继承情况以及是否存在其他影响房屋所有权变更的法律事实。由于协议丢失，这增加了问题的复杂性，但并不意味着卖方一定有权要回房子。

分析角度一：房屋买卖协议的效力

1. 协议存在时的效力：如果房屋买卖协议是合法有效的，且已经履行（即房屋已经交付给五保户，且五保户已经支付了相应的房款），那么在没有其他法定或约定事由的情况下，房屋的所有权已经转移给了五保户。

2. 协议丢失的影响：协议丢失并不意味着协议本身无效或不存在。如果卖方能够提供其他证据证明房屋买卖的事实（如转账记录、证人证言等），那么仍然可以认定房屋买卖协议的效力。然而，这增加了卖方的举证难度。

分析角度二：五保户的继承情况

1. 五保户的继承人：如果五保户去世后留有合法继承人，那么根据《民法典》的相关规定，房屋将作为五保户的遗产由其继承人继承。在这种情况下，卖方无权直接要回房子，除非与继承人达成新的协议或存在其他法定事由。

2. 无继承人或继承人放弃继承：如果五保户去世后没有合法继承人，或者继承人明确表示放弃继承，那么根据法律规定，房屋可能归国家或集体所有（具体取决于五保户的户籍和土地性质）。在这种情况下，卖方同样无权直接要回房子。

分析角度三：其他影响房屋所有权变更的法律事实

1. 是否存在欺诈、胁迫等情形：如果房屋买卖协议是在欺诈、胁迫等情形下签订的，那么卖方可能有权请求法院撤销协议并要回房子。然而，这需要卖方提供充分的证据证明存在这些情形。

2. 是否存在其他物权变动事由：例如，如果五保户在生前将房屋赠与给他人或设立了其他物权（如抵押权），那么这些行为也可能影响房屋的所有权归属。

建议与行动：

1. 收集证据：卖方应尽可能收集与房屋买卖相关的证据，如转账记录、证人证言、房屋交付证明等，以证明房屋买卖的事实和协议的效力。

2. 咨询专业律师：由于房屋买卖纠纷涉及复杂的法律关系和证据收集问题，建议卖方咨询专业律师以获取更具体的法律建议和指导。

3. 考虑协商或诉讼：根据具体情况和律师的建议，卖方可以考虑与五保户的继承人进行协商以达成新的协议，或者通过诉讼途径解决纠纷。

可能后果：

• 如果卖方能够提供充分证据证明房屋买卖的事实和协议的效力，且不存在其他影响房屋所有权变更的法律事实，那么卖方可能无法直接要回房子，但可以通过协商或诉讼途径寻求解决方案。
• 如果卖方无法提供充分证据或存在其他影响房屋所有权变更的法律事实，那么卖方要回房子的可能性将进一步降低。

总之，在此情况下，卖方是否有权利要回房子取决于多个因素的综合考量。建议卖方咨询专业律师以获取更具体的法律建议和指导。