针对长期借调人员不服从工作安排的问题，这确实是一个需要细致处理的情况。首先，我们要明确的是，处理此类问题需基于调岗的合法性与合理性，同时遵循相关法律法规及公司规章制度。以下是一些具体的处理建议：
一、确认调岗的合法性与合理性
法律依据：根据《劳动合同法》及相关规定，公司调岗需基于合法合理的理由，如工作需要、员工能力匹配、健康状况等，且不得违反劳动合同的约定或法律法规的强制性规定。
合理性评估：在调岗前，公司应对调岗的合理性进行充分评估，包括新岗位的工作内容、工作环境、薪酬待遇等是否与原岗位相当或更优，以及调岗是否对员工造成不合理的负担。
二、与员工沟通协商
沟通解释：在调岗前，公司应与员工进行充分沟通，解释调岗的原因、目的及新岗位的具体情况，听取员工的意见和诉求。
协商解决：如果员工对调岗有异议，公司应尝试与员工协商解决，如调整调岗方案、提供必要的培训或支持等，以达成双方都能接受的解决方案。
三、根据员工行为采取相应措施
如果员工在调岗后仍不服从工作安排，公司可以根据员工的具体行为采取以下措施：
旷工处理：如果员工不到新岗位上班，且无正当理由，公司可以按照旷工处理，根据公司规章制度给予相应的纪律处分。
不服从工作安排处理：如果员工继续到原岗位上班而不到新岗位工作，公司可以按照不服从工作安排处理，同样根据公司规章制度给予纪律处分。
消极怠工处理：如果员工到新岗位工作但不履行岗位职责或不切实履行岗位职责，公司可以加强考核，并按照消极怠工处理，根据公司规章制度给予相应的纪律处分或绩效扣减。
扰乱企业管理秩序处理：如果员工采取“非暴力不合作”方式，如到领导办公室或人力资源部静坐、到处窜岗、打扰他人工作等行为，公司可以按照不服从企业工作安排或者扰乱企业管理秩序处理，根据公司规章制度给予更严厉的纪律处分。
四、特殊情况下的劳动合同解除
如果公司依据《劳动合同法》第四十条第(三)款规定（即劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行）与员工协商调岗，但双方未能就变更劳动合同内容达成协议的，公司可以提前三十日以书面形式通知劳动者本人或者额外支付劳动者一个月工资后，解除劳动合同，并向劳动者支付经济补偿金。在此情况下，公司需要保留客观情况发生重大变化和已经与员工进行协商的证据。
五、建议与预防措施
完善规章制度：公司应完善相关规章制度，明确调岗的程序、条件及员工不服从工作安排的处理方式，以便在处理此类问题时有所依据。
加强员工培训：通过培训提高员工对调岗的理解和接受度，增强员工的职业适应能力和团队协作能力。
建立沟通机制：建立有效的沟通机制，及时了解员工的想法和需求，预防潜在的问题和矛盾。
综上所述，处理长期借调人员不服从工作安排的问题需要综合考虑多个方面，包括调岗的合法性与合理性、与员工的沟通协商、根据员工行为采取相应措施以及特殊情况下的劳动合同解除等。同时，公司也应加强规章制度建设、员工培训和沟通机制建立等预防措施，以减少此类问题的发生。