在工厂发生安全事故时，生产安全责任人确实有可能承担责任，具体责任大小需根据事故的具体原因、责任主体的行为及过错程度，以及相关法律法规的规定来综合判定。
工厂企业本身（生产经营单位）的责任：
- 工厂作为生产经营单位，对安全生产工作全面负责。若因安全生产条件不符合国家规定或管理不到位导致事故，工厂需承担民事赔偿责任，并可能构成重大劳动安全事故罪，承担刑事责任。
工厂主要负责人（如厂长、经理等）的责任：
- 这些人员若未履行安全生产管理职责，导致事故发生，将面临罚款、撤职等行政处罚；构成犯罪的，还将追究刑事责任。例如，根据《中华人民共和国安全生产法》的相关规定，主要负责人可能因事故等级被处以上一年年收入一定比例的罚款。
安全管理人员（如安全员）的责任：
- 安全管理人员负责日常安全管理监督工作，若未认真履行职责，如未及时发现并排除安全隐患，将承担行政处罚等责任；情节严重构成犯罪的，也将追究刑事责任。具体来说，如果安全员未能尽职尽责，如未及时上报事故、逃避责任或导致严重后果，可能面临更严重的法律后果，包括刑事责任。
直接负责的主管人员和其他直接责任人员的责任：
- 若事故由违章指挥、违规操作或违反劳动纪律等行为造成，这些人员将承担相应的法律责任，包括刑事处罚。
相关操作人员的责任：
- 操作人员若违反安全操作规程，违规作业导致事故发生，将承担直接责任，可能面临行政处罚甚至刑事处罚。
综上所述，生产安全责任人在工厂安全事故中是否承担责任，以及承担何种责任，需根据具体情况进行综合分析和判断。为避免事故的发生，各方应依法履行安全生产职责，加强安全管理，提高安全意识。如你有任何关于此方面的法律问题或需要进一步的法律建议，请直接向我咨询。