公司不能仅以你拒绝调岗为由直接辞退你，但若公司能证明你确实不能胜任工作，并经过培训或调岗后你仍不能胜任，那么公司可以依法辞退你。以下是对此问题的详细分析：
一、公司辞退的合法条件
根据《中华人民共和国劳动合同法》第四十条的规定，公司若要以“不能胜任工作”为由辞退员工，必须满足以下条件：
证明不能胜任工作：公司必须有明确、合理的岗位职责标准和客观、公正的考核依据来证明你不能胜任工作。这通常包括具体的考核制度、目标任务设定以及你的实际工作表现记录。
培训或调岗：在确认你不能胜任工作后，公司应首先对你进行培训，或者调整你到更适合的工作岗位。培训应针对你的不足进行有针对性的提升，调岗应基于你的能力和公司的实际需求，且新岗位不得带有惩罚性或侮辱性。
再次评估：经过培训或调岗后，公司应对你进行再次评估，以确定你是否仍然不能胜任工作。
提前通知或支付代通知金：如果你在经过培训或调岗后仍不能胜任工作，公司可以提前三十日以书面形式通知你本人解除劳动合同，或者额外支付你一个月工资作为代通知金。
支付经济补偿：公司因你不能胜任工作而解除劳动合同的，应当向你支付经济补偿。经济补偿的标准通常是按照你在本单位工作的年限，每满一年支付一个月工资的标准向你支付。六个月以上不满一年的，按一年计算；不满六个月的，向你支付半个月工资的经济补偿。
二、你拒绝调岗的合理性
在未经协商一致和缺乏充分证据的情况下，公司单方面以不能胜任工作为由进行调岗降薪是不符合法律规定的。你有权拒绝这一决定，并且这种拒绝是合理且合法的。因为：
劳动合同的约束力：劳动合同一旦签订，双方都应严格遵守其中的条款。公司未经你同意单方面改变工作岗位和薪资待遇，构成违约行为。
协商义务：在做出调岗降薪决定之前，公司必须与你进行充分协商，听取你的意见和诉求，寻求双方都能接受的解决方案。
三、若公司违法辞退你的法律后果
如果公司未按照法定条件和程序辞退你，可能构成违法解雇。根据《劳动合同法》的规定，违法解雇的，公司将面临支付赔偿金的风险，赔偿金为经济补偿金的二倍。
四、建议与对策
积极沟通协商：在收到调岗降薪通知后，你应首先与公司进行沟通协商，表达自己的想法和诉求，尝试达成双方都能接受的解决方案。
保留证据：你应妥善保管与调岗降薪相关的所有证据，如劳动合同、调岗通知、薪资单、考核记录等，以备后续可能的法律纠纷之需。
寻求法律帮助：如果与公司无法达成一致或认为自己的权益受到侵害，你可以直接向我咨询，我会根据你的具体情况提供法律帮助和支持。
综上所述，公司不能仅以你拒绝调岗为由直接辞退你。若公司认为你不能胜任工作并希望辞退你，必须遵循严格的法律程序和条件。你有权拒绝不合理的调岗降薪要求，并在必要时通过法律途径维护自己的权益。