代发工资时，实际扣缴义务人应该是支付工资的单位或个人，即实际发放工资的主体。具体分析如下：
一. 代发工资的扣缴义务人
- 支付工资的单位或个人为扣缴义务人：根据税法相关规定，支付所得的单位或者个人为个人所得税的扣缴义务人。在代发工资的情况下，虽然工资是由第三方代为发放，但实际的支付义务仍然是由委托代发的单位或个人承担。因此，实际扣缴义务人应该是这个单位或个人。
- 代发机构不承担扣缴义务：代发机构只是根据委托单位的指令进行工资的发放，并不承担支付工资的实际义务，因此也不是扣缴义务人。
二. 实际扣缴操作
- 在实际操作中，委托单位会将应发工资及应扣税款等信息提供给代发机构，代发机构按照委托单位的要求进行工资发放和税款扣缴。但最终的扣缴责任仍然由委托单位承担。
我建议：在实际操作中，委托单位和代发机构应明确各自的责任和义务，确保税款的正确扣缴和缴纳。如有进一步需要，您可以继续咨询我。