单位债务不可以不还利息，如果不还利息可能构成违法。具体分析如下：

1. 单位间借款合同的利息约定：

   • 单位（如企业）之间的借款合同，若合同中明确约定了利息，且该利息的约定不违反国家关于利率的限制性规定（即不超过合同成立时一年期贷款市场报价利率的四倍），则借款人需按约定支付利息。
   • 若单位间借款合同未约定利息，则视为无息借款，借款人无需支付利息。但一旦约定了利息，就必须履行支付义务。

2. 逾期利息的支付：

   • 即使借款合同中未明确约定逾期利息，若借款人未按期还款，出借人仍有权要求借款人支付逾期利息，以补偿因逾期还款而造成的资金占用损失。
   • 逾期利息的计算标准，通常可参照借款合同约定的借期内利率或按照法律规定进行计算（如不超过合同成立时一年期贷款市场报价利率的四倍）。

3. 法律责任：

   • 若借款人拒不支付利息或逾期利息，出借人有权通过法律途径追究其违约责任，包括提起诉讼、申请强制执行等。
   • 在法律程序中，借款人需承担举证责任，证明其不支付利息的合法性；否则，将可能面临败诉风险，并需承担相应的法律责任。

我建议：单位在签订借款合同时，应明确约定利息及逾期利息的计算标准和支付方式，以避免后续产生不必要的纠纷。同时，借款人也应严格按照合同约定履行还款付息义务，以维护良好的信用记录和法律关系。如有进一步需要，您可以继续咨询我。