实际施工人可以要求确认将收回的工程款偿还其他债务的行为无效，但具体能否得到支持，需视情况而定。以下从不同角度进行分析：
一、从合同相对性角度
工程款归属：
- 通常情况下，工程款应归属于实际施工人，因为实际施工人是工程的直接实施者，完成了相应的工程任务。
- 如果发包方或承包方未经实际施工人同意，擅自将工程款用于偿还其他债务，这可能侵犯了实际施工人的合法权益。
合同相对性原则：
- 根据合同相对性原则，合同只对缔约双方具有约束力，对合同以外的第三人不产生直接约束力。
- 如果实际施工人与发包方或承包方之间有明确的合同约定，工程款应支付给实际施工人，那么发包方或承包方擅自改变工程款用途的行为，可能构成违约。
二、从无权处分角度
无权处分定义：
- 无权处分是指行为人没有处分权，却以自己的名义实施的对他人财产的法律上的处分行为。
- 在本案例中，如果发包方或承包方未经实际施工人同意，擅自将工程款用于偿还其他债务，可能构成无权处分。
无权处分的法律后果：
- 根据《民法典》的相关规定，无权处分行为在未经权利人追认或无处分权人未取得处分权的情况下，该行为无效。
- 因此，实际施工人可以要求确认发包方或承包方将工程款偿还其他债务的行为无效。
三、从实际施工人权益保护角度
实际施工人的权益：
- 实际施工人作为工程的直接实施者，享有获得工程款的合法权益。
- 如果发包方或承包方擅自将工程款用于偿还其他债务，导致实际施工人无法获得应得的工程款，这将对实际施工人的权益造成损害。
法律保护措施：
- 实际施工人可以通过法律途径维护自己的权益，如提起诉讼或申请仲裁，要求确认发包方或承包方的行为无效，并要求其支付应得的工程款。
四、具体操作建议
收集证据：
- 实际施工人应收集相关证据，如工程合同、工程款支付记录、发包方或承包方擅自改变工程款用途的证据等，以证明自己的权益受到侵害。
咨询专业律师：
- 在提起诉讼或申请仲裁前，实际施工人应咨询专业律师，了解自己的法律权益和可能的诉讼风险。
- 作为专业律师，我可以为你提供详细的法律咨询和诉讼指导。
提起诉讼或申请仲裁：
- 根据律师的建议和实际情况，实际施工人可以选择提起诉讼或申请仲裁，要求确认发包方或承包方的行为无效，并要求其支付应得的工程款。