消防安全管理人在发生火灾时的责任大小，需根据具体情况判断，不能一概而论。以下从多个角度详细分析：
一、需要承担责任的情形
刑事责任
- 消防责任事故罪：如果消防安全管理人违反了消防管理法规，比如未按照要求设置消防设施、未定期进行消防检查等，并且在收到消防监督机构的整改通知后拒绝执行，最终导致了严重后果，如火灾造成人员伤亡或重大财产损失，那么该管理人可能构成消防责任事故罪。例如，某商场的消防管理人收到整改通知后，未对消防设施进行维修，结果商场发生火灾，造成多人伤亡，此时该管理人就可能面临刑事责任。
- 重大责任事故罪：在生产作业过程中，如果消防安全管理人强令他人违章冒险作业，或者明知存在重大消防隐患却仍然组织作业，导致重大伤亡或其他严重后果，也将构成重大责任事故罪。比如，某工厂的消防管理人明知消防设施老化，存在火灾隐患，但为了赶进度，仍然要求工人继续作业，结果工厂发生火灾，造成重大损失，此时该管理人就可能触犯此罪。
行政责任
- 未履行消防安全职责：消防安全管理人有法定的消防安全职责，如制定年度消防计划、实施日常消防检查、组织消防演练等。如果未履行这些职责，将依据《中华人民共和国消防法》等相关法规面临行政处罚，包括责令改正和罚款等。
- 违反消防管理规定：如果消防安全管理人存在占用、堵塞疏散通道，或者损坏、挪用消防设施等行为，消防管理部门可对单位及相关责任人给予警告、罚款、责令停产停业等处罚。
民事责任
- 因过错导致损失：如果消防安全管理人因疏忽管理、错误操作等过错导致火灾，给他人造成人身、财产损失的，需承担民事赔偿责任。例如，某酒店的消防管理人未定期检查消防设施，导致火灾发生时消防设施无法正常使用，造成住客损失，此时该管理人就需要承担民事赔偿责任。
二、不需要承担责任的情形
已全面履行职责：如果消防安全管理人已经严格按照法律法规和单位制度全面、正确地履行了职责，并采取了合理的预防和应对措施，但仍然发生了不可预见、不可避免的火灾事故，且事故与管理行为无直接因果关系，那么该管理人通常不承担责任。比如，因雷击引发的火灾，而管理人已经做好了防雷措施。
非自身管理原因导致：如果火灾是由第三方故意破坏、犯罪行为等原因导致的，且消防安全管理人在日常管理中无明显过错，那么该管理人无需承担责任。例如，有人故意纵火，而管理人已经尽到了安全防范和管理义务。
三、总结与建议
消防安全管理人作为消防安全的关键角色，其职责重大。为了确保自身不承担不必要的责任，我建议：
- 严格遵守相关法律法规和单位制度，全面、正确地履行消防安全职责。
- 加强日常管理，确保消防设施完好有效，定期组织消防培训和演练。
- 提高风险意识，及时识别和消除安全隐患，防范火灾事故的发生。
- 在发生火灾等紧急情况时，迅速采取应对措施，减少损失并保护人员安全。
如果在实际操作中遇到具体问题或需要进一步的法律帮助，可以直接向我咨询。