就业困难人员的工作单位是否可以调动，需分情况讨论，核心结论如下：

1. 劳动合同未约定调动条款且无法定事由时，单位不得单方调动
   根据《劳动合同法》第三十五条，用人单位与劳动者协商一致方可变更劳动合同内容（包括工作岗位、地点）。若就业困难人员与单位签订的劳动合同未约定“单位可根据需要调动工作”等条款，且不存在《劳动合同法》第四十条规定的“劳动者患病/不能胜任工作/客观情况重大变化”等法定解除或调整事由，单位单方调动工作单位的行为涉嫌违法，劳动者可拒绝并要求继续履行原合同。

2. 劳动合同约定调动条款或存在法定事由时，单位可依法调动
   若劳动合同中明确约定“单位可根据经营需要调整劳动者工作岗位/地点”，且该条款不违反法律强制性规定（如未排除劳动者合法权益、未显失公平），单位在合理范围内（如调整后岗位与原岗位技能相关、薪资水平相当、未增加劳动者通勤成本等）调动工作单位的，通常会被认定为合法。此外，若出现《劳动合同法》第四十条规定的情形（如劳动者患病后不能从事原工作、劳动者不能胜任工作经培训后仍不能胜任、企业因客观情况重大变化需裁员等），单位可依法调整劳动者岗位或解除合同，但需支付经济补偿。

3. 就业困难人员身份不影响调动合法性，但单位需履行特殊义务
   就业困难人员（如“4050”人员、残疾人员、低保家庭人员等）的身份本身不构成单位调动工作的限制，但单位在调动时需注意：

• 若调动导致劳动者通勤成本显著增加（如跨区调动），可能被认定为“未提供劳动条件”，劳动者可依据《劳动合同法》第三十八条解除合同并主张经济补偿；
  
• 若调动后岗位与劳动者技能不匹配或薪资降低，可能涉及“未按照劳动合同约定提供劳动保护或劳动条件”，劳动者同样可主张权利；
  
• 若单位因劳动者就业困难身份而恶意调动（如通过频繁调动迫使劳动者主动离职以规避补偿），可能涉嫌违法解除，需承担赔偿责任。

建议：若您或您身边的就业困难人员遇到单位单方调动工作的情况，可先核对劳动合同条款，确认调动是否符合约定或法定情形；若认为调动不合理，可与单位协商或向劳动监察部门投诉；若协商无果，可申请劳动仲裁维护权益。如有具体问题，欢迎直接向我咨询。