临时工下班回家生病死亡，责任归属问题需根据具体情况和法律法规来综合判断，通常不能直接确定由谁负责。以下是对此问题的详细分析：
一、可认定为工伤及责任承担
上下班途中交通事故：
- 如果临时工在上下班途中，受到非本人主要责任的交通事故或城市轨道交通、客运轮渡、火车事故伤害导致死亡，根据《工伤保险条例》的规定，应认定为工伤。
- 此时，若用人单位已依法缴纳工伤保险费，则大部分赔偿责任由工伤保险基金承担，包括丧葬补助金、一次性工亡补助金等。用人单位仍需承担停工留薪期内的工资福利待遇不变等责任。
工作时间前后工作场所内事故：
- 如果临时工在工作时间前后在工作场所内，从事与工作有关的预备性或者收尾性工作受到事故伤害导致死亡，也应认定为工伤，责任承担同上。
工作时间和工作岗位突发疾病：
- 如果临时工在工作时间和工作岗位突发疾病死亡，或在48小时之内经抢救无效死亡，视同工伤，责任承担亦同上。
- 需要注意的是，“上下班途中”包括合理时间内往返于工作地与住所地、经常居住地、单位宿舍的合理路线的上下班途中，以及从事属于日常工作生活所需要的活动且在合理时间和合理路线的上下班途中。
二、不可认定为工伤及责任承担
自身疾病等自然原因死亡：
- 如果临时工下班后因自身疾病等自然原因死亡，且不符合工伤认定情形，通常用人单位不存在法定的赔偿责任。
- 但在一些人性化处理的情况下，用人单位可能会给予一定的人道主义补偿。
第三人侵权行为导致死亡：
- 如果临时工下班后死亡是由于第三人侵权行为导致的，如他人故意或重大过失的伤害行为致死，则由侵权的第三人承担民事赔偿责任。
- 赔偿范围包括丧葬费、死亡赔偿金、精神损害抚慰金等。
三、特殊情况下的责任归属
用人单位未提供必要劳动保护条件：
- 如果用人单位在临时工工作期间未提供必需的劳动保护条件，导致临时工身体受损进而间接引发死亡，用人单位有可能需要承担一定责任。
下班后继续处理工作事宜：
- 随着现代信息技术的进步，临时工下班后可能继续通过通讯工具处理工作事宜。
- 若在此过程中突发疾病死亡，并根据具体证据判断与工作有关，有可能被认定为工伤，责任承担同工伤情形。
总结与建议：
- 临时工下班回家生病死亡的责任归属问题，需综合考虑多种因素，包括死亡原因、时间、地点以及与工作的关联度等。
- 在实际操作中，建议通过法定程序如劳动行政部门的工伤认定程序、民事诉讼等途径来最终确定责任划分和承担。
- 如果您或您的家人遇到类似情况，建议及时收集相关证据，如医疗记录、交通事故认定书等，以便在需要时维护自己的合法权益。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。