公司以不安排工作为由降薪是违法的。
从法律角度来看，劳动者的薪酬待遇应当基于其提供的劳动成果和工作内容来确定。若公司无故不安排工作，却以此为由降低劳动者的薪资，这可能构成对劳动者合法权益的侵害。根据相关劳动法律法规，用人单位应当按照劳动合同约定的内容和标准支付劳动者工资，不得随意克扣或降低。
在这种情况下，劳动者可以采取以下措施来维护自身的合法权益：
与用人单位协商解决：首先尝试与用人单位进行沟通，要求用人单位说明降薪的合法依据，或恢复原薪资水平。
留存证据：在沟通过程中，务必留存好所有与降薪相关的书面证据，如邮件、函件、录音等，以备后续维权之需。
向劳动监察部门投诉：如果协商无果，劳动者可以向当地的劳动监察部门投诉，由劳动监察部门对用人单位的违法行为进行调查和处理。
申请劳动仲裁：若投诉仍未解决问题，劳动者可以依法向劳动仲裁委员会申请劳动仲裁，要求用人单位支付工资和经济补偿。
综上所述，公司以不安排工作为由降薪是违法的，劳动者有权采取多种措施来维护自身的合法权益。如果你遇到了类似的问题，可以直接向我咨询，我会为你提供专业的法律帮助。