实际施工人可通过以下方式处理发包人抵销债务的情况，具体需结合实际情况判断：

1. 核查抵销的合法性
   根据《民法典》第五百六十八条，债务抵销需满足“双方互负债务、标的物种类品质相同、债务均到期且无禁止抵销情形”等条件。若发包人主张抵销的债务（如工程款）与实际施工人主张的债务（如材料款、劳务费）性质不同（如一方为工程款，另一方为借款），或未到期，则抵销不成立。实际施工人可要求发包人继续履行付款义务。

2. 审查抵销通知的效力
   若发包人通过书面通知主张抵销，实际施工人需核查通知内容是否明确抵销的债务范围、金额及依据。若通知存在模糊表述（如“以其他款项抵销”但未列明具体债务），或未送达实际施工人，则抵销不生效。实际施工人可要求发包人重新明确或直接拒绝抵销。

3. 主张优先受偿权对抗抵销
   根据《民法典》第八百零七条及司法解释，实际施工人对工程价款享有优先受偿权（期限为工程竣工或合同约定竣工之日起18个月）。若发包人试图以其他债务（如借款、违约金）抵销工程款，实际施工人可主张优先受偿权优先于普通债权受偿，要求发包人先支付工程款，剩余部分再用于抵销其他债务。

4. 通过诉讼或仲裁确认权利
   若双方对抵销效力争议较大，实际施工人可向法院起诉或申请仲裁，要求：

   • 确认抵销无效（如因不满足法定条件）；
     
   • 判令发包人支付工程款及利息；
     
   • 主张优先受偿权。
     诉讼中需提供合同、结算单、抵销通知等证据，证明己方主张的合法性。

5. 注意“背靠背”条款的例外情形
   若发包人与承包人约定“以业主付款为前提支付工程款”（背靠背条款），实际施工人仍可突破该条款限制：

   • 若发包人已实际占有工程或获得收益，可能被认定为“不当阻止付款条件成就”，需直接向实际施工人付款；
     
   • 若发包人怠于向业主主张债权，实际施工人可依据《民法典》第五百三十五条行使代位权，直接起诉业主要求支付工程款。

行动建议：

• 立即书面回复发包人，明确反对无效抵销并要求限期付款；
  
• 整理合同、履约证据、抵销通知等材料，评估诉讼风险；
  
• 若涉及优先受偿权或代位权，需在法定期限内主张权利。
  

如有进一步细节（如合同条款、抵销债务类型等），可提供具体信息以便针对性分析。