划拨土地方和投资方解除租赁协议后，土地方对土地的设置需根据土地性质、原租赁协议约定及现行法律法规综合判断，具体处理方式如下：

1. 土地用途需符合划拨决定书或出让合同约定
   划拨土地通常用于公益事业、国家重点扶持项目等特定用途（如教育、医疗、基础设施等）。若原租赁协议中投资方使用土地的用途与划拨用途一致，解除协议后土地方应恢复土地至划拨用途状态，不得擅自改变用途；若原用途与划拨用途不符（如商业开发），土地方需向自然资源主管部门申请补办出让手续、缴纳土地出让金，或由政府收回土地后重新安排使用。

2. 原租赁协议对土地返还状态的约定具有优先效力
   若协议中明确约定解除后土地需恢复原状（如拆除地上建筑物、恢复地貌等），土地方应按约定执行；若未约定，需根据《民法典》第七百三十三条“租赁期限届满，承租人应当返还租赁物。返还的租赁物应当符合按照约定或者根据租赁物的性质使用后的状态”处理，即投资方添附的建筑物、设施若可拆除且不损害土地价值的，应由投资方拆除；若拆除会损害土地价值（如永久性建筑），土地方可要求投资方折价补偿或通过协商、诉讼确定处理方式。

3. 政府收回土地的法定情形需重点关注
   根据《城镇国有土地使用权出让和转让暂行条例》第四十七条，划拨土地使用权因单位撤销、迁移等原因停止使用的，或土地使用权转让、出租、抵押期限届满且未续期的，政府可无偿收回土地。若解除租赁协议系因投资方违约或政策调整导致土地闲置，土地方需及时向政府报告，避免因未履行报告义务被追责；若土地需继续使用，土地方应按程序申请补办出让手续或转为有偿使用。

4. 地上附着物的权属争议需提前预防
   若投资方在租赁期间建设了建筑物、构筑物，解除协议后权属可能存在争议。根据《民法典》第三百二十二条，因加工、附合、混合而产生的物的归属有约定的按照约定；没有约定或约定不明确的，依照法律规定；法律没有规定的，按照充分发挥物的效用以及保护无过错当事人的原则确定。土地方可与投资方协商确定附着物归属，或通过评估作价补偿后取得所有权；若协商不成，可诉诸法院裁决。

建议行动步骤：

1. 核查原租赁协议中关于土地返还、附着物处理、违约责任等条款；
   
2. 向自然资源主管部门确认土地现状用途与划拨用途是否一致；
   
3. 评估地上附着物的价值及拆除可行性，与投资方协商处理方案；
   
4. 若涉及政府收回或用途变更，及时启动行政审批程序。
   

如有进一步细节（如土地用途、协议条款、附着物类型等），可提供具体信息以便更精准分析。