行政机关在招商引资协议中一般不可以单方面随意要求对方退出，但特定情形下可以依法解除或终止协议。以下从不同角度进行分析：

1. 协议性质与合同自由原则

   • 招商引资协议本质上属于民事合同范畴，受《民法典》合同编调整。根据合同自由原则，协议双方应遵循平等、自愿、公平和诚实信用原则履行义务。行政机关作为协议一方，无权单方面变更或解除协议，除非协议中明确约定了退出条款或符合法定解除条件。
   • 例外情形：若协议中明确约定了行政机关在特定条件下（如投资者未履行出资义务、违反产业政策等）可要求对方退出，且该条款不违反法律强制性规定，则行政机关可依据协议主张权利。

2. 法定解除权

   • 根据《民法典》第五百六十三条，合同法定解除情形包括：
     • 因不可抗力致使不能实现合同目的；
     • 在履行期限届满前，当事人一方明确表示或以行为表明不履行主要债务；
     • 当事人一方迟延履行主要债务，经催告后在合理期限内仍未履行；
     • 当事人一方迟延履行债务或有其他违约行为致使不能实现合同目的；
     • 法律规定的其他情形（如情势变更）。
   • 行政机关适用：若投资者存在上述违约行为，行政机关可依法解除协议并要求对方退出，但需通过法定程序（如催告、通知解除等）并保留证据。

3. 行政协议的特殊性

   • 若招商引资协议被认定为行政协议（如涉及土地出让、税收优惠等行政许可或审批事项），则受《行政协议司法解释》调整。此时，行政机关虽享有行政优益权（如单方变更或解除权），但需符合以下条件：
     • 因公共利益需要；
     • 遵循法定程序（如事先通知、听取陈述申辩、补偿等）；
     • 补偿投资者因协议解除产生的合理损失。
   • 实践要点：行政机关需严格证明公共利益必要性，且补偿标准需公平合理，否则可能面临行政诉讼败诉风险。

4. 程序合法性要求

   • 无论协议性质如何，行政机关要求对方退出均需履行法定程序：
     • 民事合同：通过协商、仲裁或诉讼解决争议；
     • 行政协议：需先进行行政处理（如作出解除决定），投资者不服可提起行政复议或诉讼。
   • 风险提示：行政机关若未履行程序直接强制退出，可能构成行政违法，需承担国家赔偿责任。

法律建议：

1. 对行政机关：

   • 在协议中明确约定退出条款（如违约情形、解除程序、补偿标准）；
   • 解除协议前需充分评估法律依据和证据，避免程序瑕疵；
   • 优先通过协商解决争议，降低诉讼风险。

2. 对投资者：

   • 签订协议前审查退出条款合法性，避免显失公平；
   • 履行协议义务时保留证据（如出资凭证、履约报告）；
   • 若遭行政机关违法要求退出，可依法申请行政复议或提起行政诉讼。

如有具体协议条款或争议事实，可进一步向我咨询，我将结合细节提供针对性分析。