结论：工人驾自家车下班回家出车祸且无人员伤害的情况下，单位是否负责需根据具体情况判断，一般情况下单位不承担责任，但若存在特殊情形如单位安排加班导致疲劳驾驶或车辆存在安全隐患等，单位可能需承担一定责任。以下是对此问题的详细分析：
一、一般情况：单位不承担责任
法律关系分析：
- 工人驾自家车下班回家的行为，通常不属于执行工作任务的过程。根据《中华人民共和国民法典》第一千一百九十一条的规定，用人单位的工作人员因执行工作任务造成他人损害的，由用人单位承担侵权责任。但在此情形下，工人并非在执行工作任务时发生事故，因此单位一般不承担责任。
事故性质：
- 交通事故的责任划分主要依据交通法规和事故现场情况。若工人自身存在过错（如超速、酒驾等），则需自行承担事故责任。若对方存在过错，则可向对方主张赔偿。
二、特殊情况：单位可能承担责任
单位安排加班导致疲劳驾驶：
- 若单位安排工人加班，导致工人疲劳驾驶而发生事故，单位可能因未尽到合理的管理和保障义务而承担一定责任。但这种情况下的责任划分需具体分析，如加班时间、工人身体状况、事故原因等。
车辆存在安全隐患：
- 若工人驾驶的自家车存在安全隐患（如刹车失灵、轮胎磨损等），且单位在明知或应知的情况下未采取措施（如提醒工人检修、禁止使用等），则单位可能因未尽到安全保障义务而承担一定责任。但这种情况下的责任划分也需具体分析，如单位是否知情、是否采取了合理措施等。
单位与工人之间存在特殊约定：
- 若单位与工人之间存在特殊约定（如单位提供交通补贴、要求工人使用特定车辆等），且该约定与事故发生存在因果关系，则单位可能需根据约定承担一定责任。但这种情况下的责任划分需依据具体约定和事故情况来判断。
三、法律建议
收集证据：
- 若工人认为单位应承担责任，需收集相关证据（如加班记录、车辆检修记录、单位与工人之间的约定等）以支持自己的主张。
咨询专业律师：
- 由于交通事故的责任划分涉及多个因素，且法律条款较为复杂，因此建议工人在发生事故后及时咨询专业律师，以便更准确地判断单位是否应承担责任，并维护自己的合法权益。不过，在这里你可以直接向我咨询，我会为你提供专业的法律意见。
注意诉讼时效：
- 若工人决定向单位主张赔偿，需注意诉讼时效的问题。根据《中华人民共和国民法典》的规定，向人民法院请求保护民事权利的诉讼时效期间为三年。因此，工人需在事故发生后三年内提起诉讼或申请仲裁，否则可能丧失胜诉权。
总结：工人驾自家车下班回家出车祸且无人员伤害的情况下，单位是否负责需根据具体情况判断。在一般情况下，单位不承担责任；但在特殊情况下，如单位安排加班导致疲劳驾驶、车辆存在安全隐患或单位与工人之间存在特殊约定等，单位可能需承担一定责任。因此，建议工人在发生事故后及时收集证据并咨询专业律师以维护自己的合法权益。