结论：政府是否有权收回已拆迁的房屋（非宅基地上的房屋），需根据具体情况判断，包括拆迁协议的具体条款、房屋的产权归属、拆迁的合法性以及是否存在法定收回情形等因素。以下从不同角度为您详细分析：

一、拆迁协议的具体条款

1. 协议内容：首先，需要仔细审查您与政府签订的拆迁协议。协议中通常会明确约定拆迁补偿方式、补偿金额、安置房屋或地块的交付时间、双方的权利义务等。如果协议中明确规定了政府在特定条件下有权收回房屋或地块，且这些条件已经成就，那么政府可能有权按照协议约定收回。

2. 违约责任：同时，也要关注协议中关于违约责任的条款。如果政府未按照协议约定履行义务，如未按时交付安置房屋或地块，您有权要求政府承担违约责任，包括继续履行、赔偿损失等。在此情况下，政府通常无权单方面收回房屋。

二、房屋的产权归属

1. 产权清晰：如果房屋的产权归属清晰，且您已经按照拆迁协议的约定将房屋交付给政府，同时政府也按照协议约定向您支付了补偿款或提供了安置房屋，那么在此情况下，政府通常无权再收回房屋。因为房屋的所有权已经通过拆迁协议得到了合法转移。

2. 产权争议：如果房屋的产权存在争议，如存在多个共有人、继承纠纷等，那么政府在拆迁过程中可能会面临法律风险。在此情况下，政府通常不会轻易收回房屋，而是会等待产权争议解决后再行处理。

三、拆迁的合法性

1. 合法拆迁：如果拆迁行为本身是合法的，即政府已经按照法定程序取得了拆迁许可证，并按照法定标准进行了补偿和安置，那么政府在拆迁完成后通常无权再收回房屋。因为合法拆迁已经完成了房屋所有权的转移和补偿义务的履行。

2. 非法拆迁：如果拆迁行为是非法的，如政府未取得拆迁许可证、未按照法定标准进行补偿和安置等，那么您有权要求政府承担相应的法律责任，包括恢复原状、赔偿损失等。在此情况下，政府更无权收回房屋。

四、法定收回情形

1. 公共利益需要：在某些特殊情况下，如因公共利益需要（如修建道路、桥梁等基础设施），政府可能需要收回已经拆迁的房屋或地块。但这种情况通常需要在法律框架内进行，并需要给予您合理的补偿和安置。

2. 违法使用：如果您在获得安置房屋或地块后，存在违法使用的情况（如擅自改变土地用途、违反规划建设等），政府可能有权根据相关法律法规收回房屋或地块。

五、建议与措施

1. 审查协议：建议您首先仔细审查与政府签订的拆迁协议，了解协议中的具体条款和双方的权利义务。

2. 咨询专业：如果您对协议内容或政府的收回行为存在疑问，可以直接向我咨询，我会根据您的具体情况提供专业的法律意见。

3. 保留证据：同时，建议您保留好与拆迁相关的所有证据和文件，如拆迁协议、补偿款收据、安置房屋交付证明等，以备不时之需。

4. 依法维权：如果政府确实存在违法行为或侵犯了您的合法权益，您有权依法维权，包括向相关部门投诉、提起行政诉讼等。