政府在国有建设用地使用权行政协议中约定了合同解除后的回购义务，一般情况下不能拒绝履行，但存在特定情形时可能可以拒绝。以下从不同角度进行分析：
一、合同约定具有法律效力，政府应履行回购义务
在国有建设用地使用权的行政协议中，如果双方明确约定了合同解除后政府的回购义务，这一约定是双方真实意思的表示，且不违反法律、行政法规的强制性规定，那么该约定就具有法律效力。根据《民法典》的相关规定，依法成立的合同，对当事人具有法律约束力。当事人应当按照约定履行自己的义务，不得擅自变更或者解除合同。因此，在合同解除后，政府应当按照约定履行回购义务。
二、政府可能拒绝履行回购义务的特定情形
尽管合同约定具有法律效力，但在某些特定情形下，政府可能可以拒绝履行回购义务。这些情形主要包括：
合同无效或可撤销：如果行政协议存在无效或可撤销的情形，如因欺诈、胁迫等手段订立，或者协议内容违反法律、行政法规的强制性规定等，那么政府可以主张合同无效或可撤销，从而拒绝履行回购义务。但需要注意的是，政府需要提供充分的证据来证明合同存在无效或可撤销的情形。
不可抗力：如果因不可抗力（如自然灾害、战争等）导致政府无法履行回购义务，且政府能够提供充分的证据证明不可抗力的存在及其对履行回购义务的影响，那么政府可以主张免除或部分免除回购义务。但不可抗力必须是合同订立时不可预见、不可避免、不可克服的客观情况。
对方违约：如果对方在合同履行过程中存在违约行为，且该违约行为导致政府无法履行回购义务或者履行回购义务将给政府造成重大损失，那么政府可以主张对方违约，并据此拒绝履行回购义务或要求对方承担违约责任。但政府需要提供充分的证据来证明对方的违约行为及其对履行回购义务的影响。
三、法律建议
审查合同条款：在签订行政协议时，双方应仔细审查合同条款，确保合同内容明确、合法、有效。特别是关于回购义务的条款，应明确约定回购的条件、方式、价格等关键内容。
保留证据：在合同履行过程中，双方应妥善保留与合同履行相关的证据，如合同文本、付款凭证、交付凭证等。这些证据在发生纠纷时将起到至关重要的作用。
协商解决：如果发生纠纷，双方应首先尝试通过协商的方式解决。协商解决不仅可以节省时间和成本，还可以维护双方的关系和信誉。
寻求法律救济：如果协商无果，双方可以寻求法律救济。根据具体情况，可以选择向仲裁机构申请仲裁或向人民法院提起诉讼。在寻求法律救济时，应咨询专业律师的意见，以确保自己的权益得到充分保护。
如果你有进一步的法律问题或需要更详细的法律建议，可以直接向我咨询。