关于“工人干活时没事，下班时受伤了谁负责”的问题，首先我们要明确的是，工伤的认定并不仅仅局限于工作时间内发生的伤害，还需考虑其他相关因素。以下是详细分析：

1. 一般情况下非工伤：

   • 如果工人在下班途中受伤，且该伤害并非因工作原因或工作任务直接导致，那么通常情况下，这不会被认定为工伤。此时，工人可能需要通过其他途径（如医疗保险、个人意外保险等）来寻求救济。

2. 特殊情况下可能认定为工伤：

   • 上下班途中的交通事故：根据《工伤保险条例》的相关规定，如果工人在上下班途中，受到非本人主要责任的交通事故或者城市轨道交通、客运轮渡、火车事故伤害的，应当认定为工伤。这种情况下，即使伤害发生在下班时间，也可能被认定为工伤。
   • 因工外出期间的伤害：如果工人是因工外出，在下班返回途中受伤，且该伤害与工作有直接关联，那么也有可能被认定为工伤。

3. 责任归属：

   • 如果伤害被认定为工伤，那么相应的责任将由工伤保险机构或用人单位承担，工人有权获得工伤赔偿。
   • 如果伤害未被认定为工伤，那么工人可能需要自行承担医疗费用和其他损失，或者通过其他保险机制来寻求补偿。

综上所述，工人下班时受伤是否由单位负责，取决于伤害的具体情况和相关法律规定。如果工人认为自己的伤害可能构成工伤，应及时向用人单位或当地社会保险行政部门提出工伤认定申请，并保留好相关证据以便后续处理。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。