考核工资不可以随便降薪，具体分析如下：
劳动合同的约定：根据《劳动合同法》的规定，劳动合同是用人单位与劳动者之间确立劳动关系、明确双方权利和义务的协议。如果劳动合同中明确规定了工资的构成，包括基本工资和考核工资等具体数额或计算方式，那么用人单位在未经劳动者同意的情况下，不得单方面降低考核工资。因为这属于对劳动合同内容的变更，需要双方协商一致并采用书面形式进行。
考核制度的合法性与合理性：即使劳动合同中约定了考核工资，用人单位在制定和实施考核制度时，也必须确保该制度的合法性和合理性。考核制度应当明确、具体、可操作，并且应当与劳动者的工作内容、岗位职责等紧密相关。如果考核制度存在不合法、不合理或者模糊不清的情况，劳动者有权提出异议，并且用人单位不得以此为由降低劳动者的考核工资。
降薪的合法程序：如果用人单位确实需要降低劳动者的考核工资，必须遵循合法的程序。这通常包括与劳动者进行协商、达成一致意见、签订书面变更协议等步骤。如果用人单位未经协商一致就单方面降低考核工资，劳动者有权拒绝并可以向劳动监察部门投诉或者申请劳动仲裁来维护自己的合法权益。
特殊情况下的降薪：在某些特殊情况下，如劳动者不能胜任工作、经过培训或者调整工作岗位后仍不能胜任工作等，用人单位可以根据劳动合同的约定或者相关法律法规的规定，对劳动者的工资进行调整。但是，这种调整也必须遵循合法、合理、公平的原则，并且需要提供充分的证据来证明劳动者确实存在不能胜任工作的情况。