结论：在没有职业病的情况下，公司单方面调岗且您不同意时，公司一般不能直接因此解除劳动合同或要求您接受调岗而不给予赔偿，但具体是否需要赔钱以及赔钱的情形，需根据调岗的合法性、合理性以及劳动合同的约定等因素综合判断。
分析如下：
调岗的合法性与合理性：
- 合法性：根据《劳动合同法》的相关规定，用人单位与劳动者协商一致，可以变更劳动合同约定的内容，包括工作岗位。若公司未经您同意单方面调岗，且调岗不符合劳动合同的约定或法律法规的规定，则公司的行为可能构成违法。
- 合理性：即使劳动合同中有关于调岗的条款，公司调岗也应具有合理性，如基于生产经营需要、调整后岗位与您原岗位性质相近、薪酬待遇相当等。若调岗明显不合理，如将您从技术岗位调至清洁岗位，且薪酬大幅降低，则您有权拒绝。
公司的处理方式及您的权益：
- 若公司违法调岗：您有权拒绝调岗，并可以要求公司继续履行原劳动合同。若公司因此解除劳动合同，则构成违法解除，您有权要求公司支付赔偿金，赔偿金的标准为经济补偿金的两倍，经济补偿金按您在公司工作的年限，每满一年支付一个月工资的标准向您支付。
- 若公司合法调岗但您不同意：此时，若公司无法与您就调岗达成一致，且原岗位已不存在或您无法胜任原岗位，公司可能会依据《劳动合同法》的相关规定，提前三十日以书面形式通知您或额外支付您一个月工资后，解除劳动合同。但这种情况下，公司仍需支付您经济补偿金，而非赔偿金。经济补偿金的标准同样按您在公司工作的年限计算。
劳动合同的约定：
- 若劳动合同中明确约定了公司有权在特定情况下调岗，且该约定不违反法律法规的强制性规定，则公司可能依据该约定进行调岗。但即便如此，公司也应确保调岗的合理性，并尊重您的意愿。若您不同意调岗，公司应与您协商解决，而非直接解除劳动合同或要求您接受调岗而不给予任何补偿。
建议：
- 与公司协商：首先，建议您与公司进行协商，了解公司调岗的具体原因和目的，表达您的意愿和诉求，寻求双方都能接受的解决方案。
- 保留证据：若公司坚持违法调岗或解除劳动合同，建议您保留相关证据，如劳动合同、调岗通知、工资单等，以便在后续维权过程中使用。
- 寻求法律帮助：若您无法与公司协商解决，或认为公司的行为侵犯了您的合法权益，建议您及时咨询专业律师（即我，李静律师，专注于婚姻家庭、离婚、离婚财产纠纷、抚养权、劳动纠纷、工伤赔偿领域），了解您的法律权益和维权途径。
总之，在没有职业病的情况下，公司单方面调岗且您不同意时，是否需要赔钱取决于调岗的合法性、合理性以及劳动合同的约定等因素。建议您根据实际情况，采取合适的措施维护自己的合法权益。