行政单位不可以随便调动工作人员，具体分析如下：

1. 调动需遵循法定程序：行政单位对工作人员的调动，必须严格依照法律法规和单位内部规章制度进行。这通常包括提出调动申请、审核调动条件、办理相关手续等步骤。任何未经法定程序的调动都是不合法的，可能损害工作人员的合法权益。

2. 调动需考虑工作需要和人员匹配：行政单位在调动工作人员时，应充分考虑工作需要和人员匹配度。调动应基于工作实际需求，确保调动后能够更好地发挥工作人员的专长和优势，提高工作效率和质量。如果调动缺乏合理的工作需要或人员匹配度不高，可能引发工作人员的不满和抵触情绪。

3. 调动需尊重工作人员意愿：虽然行政单位在调动工作人员时具有一定的管理权，但也应尊重工作人员的意愿。在调动前，应与工作人员进行充分沟通，了解其想法和意见。如果工作人员对调动有异议或不愿接受调动，行政单位应认真考虑其诉求，并寻求合理的解决方案。

4. 调动需保障工作人员权益：行政单位在调动工作人员时，应确保其合法权益不受损害。这包括但不限于工资待遇、职务晋升、职称评定等方面。如果调动导致工作人员权益受损，行政单位应承担相应的法律责任。