男人上班回家后去世，单位是否有责任，需根据具体情况分析，不能一概而论。以下是从不同角度进行的分析：
一、若去世与工作无直接关联
- 自然死亡或非工作原因：如果该男子是在下班后，因自然原因（如突发疾病且非工作导致）或其他非工作相关的原因去世，且没有证据表明其去世与工作有直接关联，那么单位通常不承担责任。这种情况下，去世被视为个人事件，与工作无关。
二、若去世与工作有直接关联
工伤认定：
- 工作时间和工作场所内：如果男子是在工作时间和工作场所内，因工作原因受到事故伤害或突发疾病死亡（或48小时内经抢救无效死亡），则可能被认定为工伤。根据《工伤保险条例》的相关规定，单位应承担相应的工伤保险责任。
- 上下班途中：如果男子是在上下班途中，受到非本人主要责任的交通事故或者城市轨道交通、客运轮渡、火车事故伤害的，也可能被认定为工伤。但这种情况下的认定需要具体证据支持。
单位责任：
- 未缴纳工伤保险：如果单位未依法为男子缴纳工伤保险费，那么根据《工伤保险条例》第六十二条，单位应承担工伤保险待遇的相关费用。
- 违反安全规定：如果单位违反了安全生产规定，导致男子在工作中受到伤害或突发疾病，单位可能需要承担相应的民事赔偿责任，甚至可能面临行政处罚或刑事责任。
三、特殊情况考虑
职业病：如果男子长期从事某种工作，且该工作可能导致某种职业病，而他在离职后或退休后因该职业病去世，那么单位可能需要根据相关法律法规承担一定的责任。但这需要具体的医学鉴定和法律程序来确定。
加班或过度劳累：如果男子因长期加班或过度劳累导致身体状况恶化，最终去世，虽然这种情况下的法律责任认定可能较为复杂，但如果能证明加班或过度劳累与去世之间存在因果关系，单位可能需要承担一定的责任。
法律建议
- 收集证据：如果家属认为男子的去世与工作有关，应尽快收集相关证据，如工作记录、医疗记录、证人证言等。
- 申请工伤认定：根据《工伤保险条例》的规定，家属可以在规定时间内向社会保险行政部门提出工伤认定申请。
- 咨询专业律师：由于工伤认定和赔偿涉及复杂的法律程序和证据收集，建议家属咨询专业律师以获取更具体的法律建议和帮助。
如果有任何具体的法律问题或需要进一步的法律帮助，可以直接向我咨询。我会根据您的具体情况，提供更详细、更专业的法律建议。