公司以不安排工作为由降薪是违法的。

从法律角度来看，劳动者的薪酬待遇应当基于其提供的劳动成果和工作内容来确定。公司或老板无故不安排工作，却以此为由降低劳动者的薪资，构成对劳动者合法权益的侵害。根据《中华人民共和国劳动合同法》的相关规定，用人单位与劳动者协商一致，可以变更劳动合同约定的内容，且应当采用书面形式。如果公司单方面以不安排工作为由降薪，没有与劳动者协商一致，也没有采用书面形式变更劳动合同，那么这种行为是违法的。

在这种情况下，劳动者有权要求用人单位恢复原薪资水平或说明降薪的合法依据。如果双方无法就薪资问题达成一致，劳动者可以向劳动监察部门投诉或申请劳动仲裁，以维护自身的合法权益。劳动仲裁机构会根据相关法律法规和事实情况，对降薪的合法性进行裁决。

因此，如果你遭遇了公司以不安排工作为由降薪的情况，可以首先与公司进行沟通协商，要求恢复薪资或给出合理解释。如果协商无果，你可以向当地的劳动监察部门投诉，或者申请劳动仲裁来维护自己的权益。