结论：本职工作不作，用人单位一般不可以直接单方面调岗，但需根据具体情况分析。
分析如下：
劳动合同的约定：
- 根据《中华人民共和国劳动合同法》的相关规定，劳动合同是劳动者与用人单位确立劳动关系、明确双方权利和义务的协议。劳动合同中通常会明确约定劳动者的工作岗位、工作内容等。
- 如果劳动合同中明确规定了劳动者的工作岗位，且没有约定用人单位可以单方面调岗的情形，那么用人单位在劳动者本职工作不作的情况下，一般不能直接单方面调岗。
用人单位的规章制度：
- 用人单位可以依法制定规章制度，对劳动者进行管理。但是，这些规章制度必须合法、合理，且经过民主程序制定，并向劳动者公示或告知。
- 如果用人单位的规章制度中规定了劳动者本职工作不作时可以调岗的情形，且该规定不违反法律法规的强制性规定，那么用人单位在符合规定的情况下可以调岗。但需要注意的是，调岗应当合理，不能损害劳动者的合法权益。
劳动者不胜任工作：
- 如果劳动者确实不能胜任本职工作，用人单位可以根据《中华人民共和国劳动合同法》的相关规定，对劳动者进行培训或者调整工作岗位。
- 但是，用人单位需要承担举证责任，证明劳动者确实不能胜任本职工作。这通常需要通过绩效考核、工作评估等方式来证明。
调岗的合理性：
- 即使用人单位有权调岗，调岗也必须合理。调岗后的工作岗位应当与劳动者原工作岗位相关，且不能降低劳动者的工资待遇、工作条件等。
- 如果调岗不合理，劳动者有权拒绝调岗，并可以要求用人单位继续履行原劳动合同或者支付经济补偿金。
建议：
- 对于劳动者而言，如果用人单位提出调岗，应当首先查看劳动合同和用人单位的规章制度，了解调岗是否合法、合理。如果认为调岗不合理，可以与用人单位协商，或者向劳动争议调解委员会申请调解，或者向劳动争议仲裁委员会申请仲裁。
- 对于用人单位而言，在调岗前应当充分评估调岗的合法性和合理性，确保调岗不违反法律法规的强制性规定，不损害劳动者的合法权益。同时，应当与劳动者进行充分沟通，解释调岗的原因和必要性，争取劳动者的理解和配合。
可能后果：
- 如果用人单位未经合法程序单方面调岗，劳动者有权拒绝并可以要求用人单位继续履行原劳动合同或者支付经济补偿金。
- 如果劳动者因调岗问题与用人单位发生争议，可以向劳动争议调解委员会申请调解，或者向劳动争议仲裁委员会申请仲裁。对仲裁裁决不服的，还可以向人民法院提起诉讼。
如有更多关于劳动工伤（劳动仲裁）的问题，可以直接向我咨询。