单位无权单方面随时给你降薪，降薪可以拒绝。具体分析如下：

1. 劳动合同的法律效力：

   • 劳动合同是双方权利与义务的重要依据，其中明确约定的工资待遇是劳资双方必须遵守的重要内容。
   • 根据《中华人民共和国劳动合同法》第三十条，用人单位应当按照劳动合同约定和国家规定，向劳动者及时足额支付劳动报酬。

2. 降薪的法律性质：

   • 如果单位未经你同意擅自降低工资，这实际上构成了对劳动合同的单方面变更，违反了《劳动合同法》中关于合同变更应遵循平等自愿、协商一致原则的规定。
   • 根据《中华人民共和国劳动合同法》第三十五条，用人单位与劳动者协商一致，才可以变更劳动合同约定的内容，并且这种变更应当采用书面形式。

3. 你的权利：

   • 你有权拒绝单位的降薪行为，并要求单位按照原劳动合同的约定支付工资。
   • 如果单位坚持降薪，你可以首先尝试与单位协商解决；协商无果时，可以向当地的劳动监察部门投诉，或者向当地劳动仲裁机构申请劳动仲裁，甚至向人民法院提起诉讼来维护自己的合法权益。

4. 特殊情况：

   • 值得注意的是，在某些特定情况下，如你不能胜任工作、严重违反单位规章制度等，单位可能依据相关法律规定或规章制度对你进行降职降薪处理。但这种情况下，单位必须确保降薪的合理性和合法性，并提供充分的证据支持其决定。

综上所述，单位无权单方面随时给你降薪，你有权拒绝降薪行为，并可以通过法律途径来维护自己的合法权益。如果单位坚持降薪或者你有其他劳动纠纷问题，可以直接向我咨询，我会为你提供专业的法律建议和支持。