结论：这种情况一般不算惩罚，但需关注利息是否超出法定上限。以下从多个角度进行分析：

1. 关于是否算惩罚：

   • 从常规理解来看，惩罚通常指的是因违反某种规定或约定而需承担的不利后果。在此案例中，借款人借款100元，一天后还款120元，其中20元为利息。这20元利息是借款人因使用资金而需支付给贷款人的报酬，并非因违反某种规定或约定而需承担的惩罚性费用。因此，从性质上讲，这20元利息不算惩罚。

2. 关于利息的合法性：

   • 根据《最高人民法院关于审理民间借贷案件适用法律若干问题的规定》，民间借贷的利率有明确的限制。如果借贷双方约定的利率超过合同成立时一年期贷款市场报价利率四倍，则超出部分的利息不受法律保护。
   • 假设当前一年期贷款市场报价利率为3.65%（此数值为示例，实际数值会随时间变化），则其四倍为14.6%。若按照此利率计算，100元借款一天的利息应为：\(100 \times \frac{14.6\%}{365} \approx 0.04\)（元）。显然，20元的利息远超出了这一法定上限。
   • 因此，虽然这20元不算惩罚，但如果借贷双方约定的利率超出了法定上限，则超出部分的利息是不受法律保护的。贷款人无法通过法律途径强制借款人支付超出部分的利息。

3. 法律建议：

   • 对于贷款人而言，在设定利息时，应确保利率不超过法定上限，以避免因利息过高而引发法律纠纷。
   • 对于借款人而言，如果认为利息过高，可以与贷款人协商降低利息，或者拒绝支付超出法定上限的利息。如果贷款人坚持要求支付超出部分的利息，借款人可以向相关部门投诉或寻求法律援助。

4. 可能的法律后果：

   • 如果贷款人坚持要求借款人支付超出法定上限的利息，并因此引发法律纠纷，法院在审理此类案件时，会依据相关法律法规和借贷双方的约定，判断利息的合法性，并作出相应的裁决。
   • 如果法院认定利息超出法定上限，则超出部分的利息将不被支持，贷款人可能无法获得预期的收益。

综上所述，虽然这20元利息不算惩罚，但借贷双方在设定和支付利息时，应确保利率不超过法定上限，以避免引发不必要的法律纠纷。如果你有进一步的法律问题或需要更详细的法律建议，可以直接向我咨询。