用人单位以不胜任工作为由降工资或者让走人，这种行为很可能是违法的。以下从不同角度为你详细分析：

一、关于降工资

1. 劳动合同变更需协商一致：根据《劳动合同法》的规定，用人单位若要变更劳动合同的内容，如降薪，需与劳动者协商一致，并采用书面形式。若公司仅以不胜任为由降薪，却未与劳动者协商或未达成书面协议，此降薪行为缺乏合法性基础。
2. 不胜任工作的认定需有依据：对于不胜任工作的认定，公司需有明确且合理的考核制度，并且需按照该制度对劳动者进行考核，证明劳动者确实不胜任工作。若公司没有经过有效考核就认定劳动者不胜任并降薪，也不符合法律规定。
3. 降薪前应先培训或调岗：即便劳动者被认定为不胜任工作，公司也应先对其进行培训或调整工作岗位。只有在经过培训或调岗后，劳动者仍不胜任工作的，公司才可以解除劳动合同或进行其他合理处理，而不能直接降薪。

二、关于让走人（解除劳动合同）

1. 解除劳动合同需符合法定条件：用人单位以劳动者不胜任工作为由解除劳动合同，需满足一定的法定条件。除了上述提到的需有明确考核制度证明劳动者不胜任工作外，还需在经过培训或调岗后，劳动者仍不胜任工作，此时用人单位可以提前三十日以书面形式通知劳动者本人或者额外支付劳动者一个月工资后，解除劳动合同。
2. 违法解除劳动合同的法律后果：如果用人单位未按照上述法定条件解除劳动合同，而是直接让劳动者走人，那么这种行为属于违法解除劳动合同。劳动者有权要求用人单位继续履行劳动合同，或者要求用人单位支付赔偿金。赔偿金的标准为按照经济补偿标准的二倍向劳动者支付。经济补偿按劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。

法律建议

1. 保留证据：劳动者在面对用人单位以不胜任工作为由降工资或让走人的情况时，要注意收集和保留相关证据，比如劳动合同、工资条、考核制度、降薪或解除劳动合同的通知、沟通记录等，以便在需要时能够有力地支持自己的主张。
2. 与用人单位协商：劳动者可以先尝试与用人单位进行协商，表达自己的诉求和意见，看是否能够达成一致解决方案。
3. 申请劳动仲裁或提起诉讼：如果协商不成，劳动者可以向劳动监察部门投诉，要求劳动监察部门责令用人单位改正；或者申请劳动仲裁，通过仲裁裁决维护自己的合法权益。如果对仲裁裁决不服，还可以向人民法院提起诉讼。

总之，用人单位以不胜任工作为由降工资或者让走人，这种行为很可能侵犯了劳动者的合法权益。劳动者有权通过法律途径维护自己的合法权益。如果你还有其他法律问题，可以直接向我咨询。