结论：公司不能仅以单一对你进行考核制度不合格就强制让你调岗，这一行为是否合法需结合具体情况判断。以下从不同角度为你详细分析：

从劳动合同约定角度

1. 若劳动合同中有明确约定：如果劳动合同中明确规定了公司可以根据考核结果对员工进行调岗，并且该考核制度是经过民主程序制定（如经过职工代表大会或者全体职工讨论，提出方案和意见，与工会或者职工代表平等协商确定）、公示（让员工知晓考核制度的具体内容）且内容合法合理的，那么当你的考核结果不合格时，公司有权依据合同约定对你进行调岗。不过，即使在这种情况下，调岗也应当具有合理性，比如调岗后的工作内容、工作地点、薪资待遇等应当与原岗位相当或者合理，不能存在恶意调岗的情况。例如，原本你是从事技术岗位工作，公司却以考核不合格为由将你调岗至清洁岗位，且薪资待遇大幅降低，这种调岗就可能不具有合理性。
2. 若劳动合同中没有明确约定：公司不能仅凭考核制度不合格就单方面强制你调岗。因为调岗属于对劳动合同内容的重大变更，根据《中华人民共和国劳动合同法》第三十五条规定，用人单位与劳动者协商一致，可以变更劳动合同约定的内容。变更劳动合同，应当采用书面形式。所以，在没有合同约定的情况下，公司必须与你协商一致才能进行调岗。

从考核制度合法性角度

1. 考核制度合法合理：公司的考核制度需要符合法律法规的规定，不能存在歧视性、不公平性等违法情形。同时，考核标准应当明确、具体、可操作，能够让员工清楚地知道如何达到考核要求。如果考核制度本身存在问题，比如考核指标模糊不清、考核过程不透明等，那么公司以该考核制度不合格为由强制你调岗就是不合法的。例如，公司制定的考核制度中规定“员工需在一个月内完成一项不可能完成的任务，否则考核不合格”，这种考核制度就明显不合理。
2. 考核制度未履行民主程序和公示程序：即使考核制度本身内容合法合理，但如果公司没有按照法律规定履行民主程序（如经过职工代表大会或者全体职工讨论，提出方案和意见，与工会或者职工代表平等协商确定）和公示程序（让员工知晓考核制度的具体内容），那么该考核制度对员工不具有约束力。公司不能依据这样的考核制度来强制你调岗。

公司的应对措施及你的权利

1. 公司的应对措施：如果公司认为你考核不合格需要调岗，应当先与你进行协商，说明调岗的原因、调岗后的岗位情况等，争取你的同意。如果协商不成，公司不能直接强制调岗，否则可能构成违法调岗。
2. 你的权利：如果你认为公司的调岗行为不合法，你可以拒绝调岗。同时，你可以向公司提出异议，要求公司说明调岗的依据和合理性。如果公司坚持违法调岗，你可以向劳动监察部门投诉，或者向劳动仲裁机构申请劳动仲裁，维护自己的合法权益。在劳动仲裁中，你需要提供相关证据证明公司的调岗行为不合法，比如劳动合同、考核制度、沟通记录等。

建议：你可以先查看一下自己的劳动合同中是否有关于调岗的约定，以及公司的考核制度是否合法合理、是否履行了民主程序和公示程序。如果对公司的调岗行为有疑问或者认为不合法，可以收集相关证据，及时与我沟通，我会为你提供更具体的法律建议和帮助。