结论：单位以不降价就不付款的行为是否违法，需结合具体情况判断，可能涉及违约或合法行使抗辩权两种情形。以下从不同角度详细分析：

一、若合同已明确约定价格条款，单位行为可能构成违约

1. 法律依据
   根据《民法典》第五百七十七条：“当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。”
   若货物买卖合同中已明确约定价格（如固定价、浮动价条款），且未赋予买方单方调价权，则买方以“不降价就不付款”为由拒绝支付约定价款，属于未履行主要付款义务，构成违约。

2. 法律后果

   • 卖方可要求买方继续支付货款，并主张逾期付款违约金（合同有约定的按约定，无约定的可参照LPR利率计算）；
     
   • 若买方拒不履行，卖方可解除合同并要求赔偿损失（如货物差价、仓储费等）。

3. 典型案例
   某企业与供应商签订钢材采购合同，约定单价5000元/吨。后市场价下跌，企业要求降价至4500元/吨，否则拒付货款。法院判决企业构成违约，需按原价支付货款并赔偿供应商利息损失。

二、若合同存在履行障碍，单位可能合法行使抗辩权

1. 同时履行抗辩权（《民法典》第五百二十五条）
   若卖方交付的货物存在质量问题（如规格不符、瑕疵等），买方有权拒绝支付对应价款，直至卖方更换或修复货物。此时“不付款”具有合法理由，不构成违约。

2. 先履行抗辩权（《民法典》第五百二十六条）
   若合同约定“卖方先交货，买方后付款”，但卖方未按期交货或交货不符合约定，买方有权拒绝付款，直至卖方履行义务。

3. 不安抗辩权（《民法典》第五百二十七条）
   若卖方丧失履约能力（如濒临破产、经营状况严重恶化），买方可中止付款并要求提供担保。若卖方未在合理期限内恢复履约能力或提供担保，买方可解除合同。

三、特殊情形：情势变更原则的适用

1. 法律依据
   根据《民法典》第五百三十三条：“合同成立后，合同的基础条件发生了当事人在订立合同时无法预见的、不属于商业风险的重大变化，继续履行合同对于当事人一方明显不公平的，受不利影响的当事人可以与对方重新协商；在合理期限内协商不成的，当事人可以请求人民法院或者仲裁机构变更或者解除合同。”

2. 适用条件

   • 合同基础条件发生重大变化（如战争、政策调整、原材料价格暴涨暴跌等）；
     
   • 变化不可预见且非商业风险；
     
   • 继续履行显失公平（如成本激增导致卖方亏损严重）。

3. 法律后果
   若符合情势变更，买方可请求法院或仲裁机构调整价格（如适当降价），而非单方强制要求降价。若法院支持调价，买方需按新价格付款；若不支持，买方仍需按原价履行。

四、实务建议

1. 对卖方

   • 审查合同条款，确认价格是否明确、是否赋予买方调价权；
     
   • 收集买方拒付货款的证据（如催款函、沟通记录）；
     
   • 若买方无合法理由拒付，及时发送律师函或起诉主张权利。

2. 对买方

   • 若认为价格不合理，应与卖方协商变更合同，而非单方拒付；
     
   • 若卖方违约（如迟延交货、货物瑕疵），可依法行使抗辩权；
     
   • 关注市场变化是否符合情势变更，及时申请司法调整价格。

总结：单位以“不降价就不付款”是否违法，需结合合同约定、履行情况及法律抗辩权综合判断。建议双方优先协商，若协商不成，可通过法律途径解决。如有具体合同或纠纷细节，可进一步向我咨询，我会结合实际情况提供详细分析。