发现行政拆迁协议错误时，政府部门应当按照以下步骤进行纠正：

首先，明确错误类型： 政府部门需要首先明确拆迁协议中的错误类型，是文字表述错误、数据计算错误，还是涉及关键条款的法律适用错误等。这一步骤对于后续采取正确的纠正措施至关重要。

其次，内部审查与确认：

1. 成立专项小组：政府部门可以成立一个由法律专家、拆迁工作人员等组成的专项小组，对拆迁协议进行全面审查。
2. 确认错误：通过仔细比对协议原文、相关法律法规及政策文件，确保错误的确存在，并明确错误的性质和严重程度。

接着，与拆迁户沟通：

1. 解释错误：政府部门应当及时向拆迁户解释协议中存在的错误，说明错误产生的原因及可能的影响。
2. 协商解决方案：与拆迁户共同商讨如何纠正错误，并尽可能达成双方都能接受的解决方案。这可能包括修改协议条款、补充协议或重新签订协议等。

然后，采取纠正措施：

1. 修改协议：对于文字表述或数据计算等轻微错误，政府部门可以直接在协议上进行修改，并加盖公章或签字确认。
2. 补充协议：对于需要补充或明确的内容，政府部门可以与拆迁户签订补充协议，作为原协议的补充和说明。
3. 重新签订协议：如果错误涉及关键条款或法律适用问题，且无法通过修改或补充协议解决，政府部门应当与拆迁户重新签订协议，确保协议的合法性和有效性。

最后，归档与备案： 政府部门应当将纠正后的协议或补充协议进行归档和备案，以便后续查阅和管理。同时，也要确保相关手续和文件的完整性，避免再次出现类似错误。

综上所述，政府部门在发现行政拆迁协议错误时，应当积极采取措施进行纠正，确保拆迁工作的顺利进行和拆迁户的合法权益。如果您在此过程中遇到任何问题或需要进一步的法律帮助，请直接向我咨询。