在一般情况下，扣缴义务人是由支付所得的单位或个人自然担任的，而并非由税务机关或其他人任意指定。具体分析如下：

一. 扣缴义务人的确定原则

• 根据《中华人民共和国个人所得税法》第九条：“个人所得税以所得人为纳税人，以支付所得的单位或者个人为扣缴义务人。”这表明，扣缴义务人通常是直接支付所得给纳税人的单位或个人。

二. 特定情况下的指定

• 然而，在特定情况下，如《中华人民共和国企业所得税法》第三十八条所述：“对非居民企业在中国境内取得工程作业和劳务所得应缴纳的所得税，税务机关可以指定工程价款或者劳务费的支付人为扣缴义务人。”这表明，在特定情境下（如非居民企业的工程作业和劳务所得），税务机关确实有权指定扣缴义务人。

三. 一般情境下的操作

• 在常规的工资支付或其他所得支付场景中，扣缴义务人是由支付行为自然确定的，无需特别指定。例如，如果A公司向员工B支付工资，那么A公司就是B的工资所得的扣缴义务人。

四. 我的观点

• 因此，除非法律有特别规定（如非居民企业的所得税情况），否则扣缴义务人是由支付所得的单位或个人自然担任的，不能随意指定。如果需要确定某家单位为扣缴义务人，应首先检查是否存在支付所得的行为，以及该单位是否作为支付方。

综上所述，扣缴义务人的指定并非随意进行，而是基于支付所得的行为自然确定，或在特定法律情境下由税务机关指定。如有进一步需要，您可以继续咨询我。