结论：单位是否有责任，需根据具体情况判断，主要看男方死亡是否与工作有直接关联，以及单位是否存在过错。
一、若男方死亡与工作有直接关联
工伤认定：
- 根据《工伤保险条例》的相关规定，职工在工作时间和工作场所内，因工作原因受到事故伤害的，应当认定为工伤。若男方是在上班期间，因工作原因（如工作劳累导致突发疾病等）死亡，且符合工伤认定的其他条件（如48小时之内经抢救无效死亡），则可能被认定为工伤。
- 法律建议：在此情况下，单位应承担工伤保险责任，包括支付丧葬补助金、供养亲属抚恤金和一次性工亡补助金等。
单位责任：
- 如果单位未依法为男方缴纳工伤保险费，那么根据《工伤保险条例》第六十二条，单位应承担全部的工伤保险待遇支付责任。
- 法律建议：家属可以要求单位按照工伤保险待遇的标准进行赔偿，若单位拒绝，可以通过劳动仲裁或诉讼途径维护自身权益。
二、若男方死亡与工作无直接关联
非工伤情形：
- 如果男方的死亡与工作无直接关联，如因个人健康原因（非工作劳累导致）在上班期间开房后死亡，那么这种情况通常不被认定为工伤。
- 法律建议：在此情况下，单位一般不承担工伤保险责任。但单位是否需要承担其他责任，需看单位是否存在过错。
单位过错判断：
- 单位是否存在过错，需根据具体情况判断。例如，如果单位明知男方身体状况不佳，仍安排其从事高强度工作，且未提供必要的医疗救助，那么单位可能存在一定的过错。
- 法律建议：如果家属认为单位存在过错，可以收集相关证据（如工作记录、医疗记录等），并通过法律途径追究单位的责任。但需要注意的是，这种责任的追究通常较为复杂，且需要充分的证据支持。
三、其他注意事项
证据收集：
- 无论哪种情况，家属都应尽快收集相关证据，如工作记录、医疗记录、死亡证明等，以便在后续的法律程序中维护自身权益。
法律程序：
- 如果家属与单位就赔偿问题无法达成一致，可以通过劳动仲裁或诉讼途径解决。在此过程中，建议家属咨询专业律师，以便更好地维护自身权益。
总结：单位是否有责任，需根据男方死亡是否与工作有直接关联以及单位是否存在过错来判断。如果男方死亡与工作有直接关联且符合工伤认定条件，单位应承担工伤保险责任；如果与工作无直接关联，单位一般不承担工伤保险责任，但需根据具体情况判断单位是否存在过错。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。