双方私下协议的撤回需分情况处理，具体如下：

1. 协议尚未履行，双方协商一致撤回
   若协议尚未实际履行（如未付款、未交付标的物等），双方可通过签订书面《解除协议》或补充协议明确撤回原协议。此时需注意：

   • 需以书面形式固定撤回意愿（口头约定可能因举证困难导致纠纷）；
     
   • 若原协议涉及重大利益（如房产、股权转让），建议对解除协议进行公证或由律师起草条款，避免后续争议；
     
   • 撤回后，双方应返还已取得的财产或利益（如已支付的定金需退还）。

2. 协议已部分履行，需通过协商或法律程序处理
   若协议已部分履行（如一方已支付部分款项，另一方已交付部分货物），撤回需分步骤：

   • 协商解决：双方可就剩余履行内容、已履行部分的结算、违约责任（如有）达成新协议；
     
   • 单方撤回的合法性：若一方想单方撤回，需符合法定条件（如对方根本违约、协议存在欺诈/胁迫等可撤销情形），否则可能构成违约，需承担赔偿责任；
     
   • 证据固定：若协商不成，需保留协议原件、履行凭证（如转账记录、收货单）、沟通记录（微信/邮件）等证据，以便通过诉讼或仲裁解决。

3. 协议存在法定无效或可撤销情形，可直接主张撤回
   若协议符合以下情形，可向法院或仲裁机构申请确认无效/撤销，从而“撤回”协议效力：

   • 无效情形：违反法律强制性规定（如赌博协议）、损害公共利益、恶意串通损害他人权益；
     
   • 可撤销情形：一方以欺诈、胁迫手段订立协议，或乘人之危导致对方显失公平，或一方在订立协议时存在重大误解。
     注：申请撤销需在知道撤销事由之日起1年内提出，逾期将丧失权利。

关键提醒：

• 私下协议虽不强制要求公证，但涉及重大利益时建议由律师审核条款，避免漏洞；
  
• 撤回协议可能涉及违约责任、财产返还等复杂问题，建议操作前先梳理协议履行情况及证据，必要时可向我进一步咨询具体方案。