在安全事故中，责任人伤残四级并不能直接作为免于刑罚的理由。是否免于刑罚，主要取决于责任人的行为是否构成犯罪以及犯罪的严重程度，而非责任人的个人伤残情况。

首先，根据《中华人民共和国刑法》第一百三十三条的规定，违反交通运输管理法规，因而发生重大事故，致人重伤、死亡或者使公私财产遭受重大损失的，可能会面临三年以下有期徒刑或者拘役的刑罚。这一条款明确指出了交通肇事犯罪的构成条件和相应的刑罚。

其次，伤残四级是责任人个人身体状况的一种描述，它反映了责任人在事故中受到的伤害程度。然而，这一伤残情况并不直接影响对责任人刑事责任的判定。即使责任人伤残四级，如果其行为确实构成了交通肇事犯罪，并且没有其他法定免于刑罚的情节，那么责任人仍然需要承担相应的刑事责任。

综上所述，在安全事故中，责任人伤残四级并不能直接免于刑罚。是否免于刑罚取决于责任人的行为是否构成犯罪以及犯罪的严重程度，与责任人的伤残情况无直接关联。如果你或你身边的人面临类似情况，建议尽快咨询专业律师，以便更准确地了解相关法律规定和可能的法律后果。