结论：单位让您担任安全负责人但未支付报酬、未设岗也未正式聘任，您是否需要承担责任，需分情况讨论。以下从不同角度为您详细分析：
一、从劳动关系与职务责任的角度
若您与单位存在劳动关系：
- 职务行为认定：即使单位未明确设岗或聘任，但如果您实际上在履行安全负责人的职责，且该职责属于您工作内容的一部分，那么您的行为可能被视为职务行为。
- 责任承担：在职务行为范围内，因工作原因造成的损害，通常由单位承担责任。但如果您存在故意或重大过失，单位在承担责任后可能向您追偿。
若您与单位不存在劳动关系：
- 无职务关系：若您与单位之间仅为临时帮忙或合作关系，且未签订任何书面协议明确您的职责和报酬，那么您与单位之间不构成职务关系。
- 责任承担：在此情况下，您因履行“安全负责人”职责而产生的行为，若造成损害，可能需根据您的过错程度承担相应的民事责任。但单位若存在指示或选任过失，也可能需承担部分责任。
二、从安全管理的法律责任角度
法定安全职责：
- 根据《中华人民共和国安全生产法》等相关法律法规，安全负责人通常负有特定的安全管理职责，如组织安全培训、制定安全制度等。
- 若您被单位实际指派为安全负责人：即使未正式聘任，您也可能因履行这些法定职责而承担相应的法律责任。特别是当您的行为违反了安全生产法规，导致事故或损害发生时。
未履行职责的后果：
- 如果您作为实际的安全负责人，未履行或未正确履行安全管理职责，导致事故或损害发生，您可能面临行政处罚（如罚款、吊销资格证书等）或民事赔偿（如对受害者的赔偿）责任。
- 在极端情况下，如果您的行为构成犯罪（如重大责任事故罪），您还可能面临刑事责任。
三、从实际履行职责与报酬的角度
报酬与责任的关系：
- 报酬的支付与否，通常不影响您作为安全负责人所应承担的法律责任。即，即使单位未支付报酬，您仍需履行安全管理职责，并承担因未履行或未正确履行职责而产生的法律责任。
未设岗与未聘任的影响：
- 单位未设岗或未正式聘任您为安全负责人，可能影响您与单位之间的劳动关系认定和职务行为的性质判断。但这并不免除您因实际履行安全管理职责而应承担的法律责任。
建议
明确职责与报酬：
- 与单位明确沟通，确定您的具体职责、报酬以及聘任关系。最好签订书面协议，以明确双方的权利和义务。
履行安全管理职责：
- 如果您确实担任了安全负责人的角色，无论是否获得报酬，都应认真履行安全管理职责，确保安全生产。
咨询专业意见：
- 如您对自身的法律责任存在疑虑或担忧，建议及时咨询专业律师，以获取更具体的法律建议和指导。
有问题直接向我咨询，我将根据您的具体情况，为您提供更详细的法律分析和建议。