结论：用人期间单位不安排工作导致年平均工资降低，您可以根据具体情况采取以下措施来维护自己的合法权益。
一、法律背景与依据
根据《中华人民共和国劳动合同法》及相关规定，用人单位有义务按照劳动合同约定和国家规定，向劳动者及时足额支付劳动报酬。如果因为用人单位的原因导致劳动者无法正常工作，进而造成工资降低，这可能构成对劳动者权益的侵害。
二、具体分析与建议
与用人单位协商：
- 首先，您可以尝试与用人单位进行友好协商，了解单位不安排工作的具体原因，并表达您对工资降低的关切。
- 在协商过程中，您可以提出合理的诉求，如要求单位恢复工作安排、补发工资差额等。
收集证据：
- 如果协商无果，您需要开始收集相关证据，以证明单位不安排工作与工资降低之间的因果关系。
- 证据可以包括劳动合同、工资单、工作记录、与单位的沟通记录（如邮件、短信、微信等）等。
向劳动监察部门投诉：
- 您可以向当地的劳动监察部门投诉，反映单位不安排工作导致工资降低的情况。
- 劳动监察部门会依法进行调查，并根据调查结果对单位进行相应的处理。
申请劳动仲裁：
- 如果投诉未能解决问题，您可以向劳动仲裁委员会申请劳动仲裁。
- 在仲裁过程中，您需要提交相关证据，证明单位的行为违反了劳动合同法及相关规定，并要求单位承担相应的法律责任。
- 仲裁请求可能包括：要求单位恢复工作安排、补发工资差额、支付经济补偿金等。
提起诉讼：
- 如果对劳动仲裁结果不满意，您还可以向法院提起诉讼，通过司法途径来维护自己的合法权益。
三、注意事项
- 在整个过程中，您需要保持冷静和理性，避免与单位发生不必要的冲突。
- 及时咨询专业律师（即我，李瑜律师，专注于劳动纠纷等领域），以获取更具体的法律建议和指导。
- 注意保留好所有相关证据，以便在需要时提供证明。
四、可能的法律后果
- 如果单位的行为被认定为违法，单位可能需要承担补发工资、支付经济补偿金等法律责任。
- 在极端情况下，如果单位的行为构成恶意拖欠工资等违法行为，还可能面临行政处罚或刑事责任。
如果您在用人期间遇到单位不安排工作导致年平均工资降低的情况，不要慌张和妥协。您可以根据上述建议采取相应的措施来维护自己的合法权益。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。