结论：司机撞到护栏后走了五分钟回来是否算逃逸，需根据具体情况判断，主要包括司机是否明知事故发生、离开现场的原因以及后续行为等因素。以下是对此问题的详细分析：

1. 明知事故而离开：

   • 如果司机在撞击护栏后明知发生了事故，却为了逃避可能承担的民事赔偿责任、行政处罚等法律后果而选择离开现场，即使只离开了五分钟，这种行为也属于交通肇事逃逸。因为司机有义务停车查看损失情况，保护现场，并及时报警通知相关部门。擅自离开将可能导致公共财产损失未得到及时处理，进而加重法律后果。

2. 因紧急情况必须离开：

   • 在某些特殊情况下，如车辆起火、有人员受伤急需送往医院救治等紧急危险时，司机可能不得已离开现场去寻求帮助。如果司机在事后及时向公安机关交通管理部门报案，并说明离开的原因和经过，这种情况下一般不会被认定为逃逸。但需要注意的是，司机应尽可能在离开前采取必要的措施，如设置警示标志等，以减少对其他车辆和行人的影响。

3. 确实不知情而离开：

   • 如果司机由于各种原因（如车辆行驶时的震动、噪音较大，司机注意力分散等）确实不知道自己撞了护栏，并在无意识的情况下离开了现场，且后续能够证明其确实不知情，那么这种情况通常不被认定为逃逸。但“不知情”需要由相关部门进行调查和判断，以确保其真实性。例如，如果现场有监控录像或目击者证明司机确实不知情，那么司机可能不会被追究逃逸的责任。

法律后果：

• 如果司机的行为被认定为交通肇事逃逸，将面临严重的法律后果。对于不构成犯罪的交通肇事逃逸行为，公安机关交通管理部门将依法对逃逸者处以罚款，并可以并处拘留。同时，逃逸者将承担交通事故的全部责任。
• 如果交通肇事逃逸行为导致人员重伤、死亡或使公私财产遭受重大损失等严重后果，逃逸者将按交通肇事罪追究刑事责任。根据《刑法》的相关规定，逃逸者将面临有期徒刑、拘役等刑罚，并且机动车驾驶证将被吊销，终生不得重新取得。

建议：

• 无论何种情况，司机在发生交通事故后都应立即停车、保护现场、抢救伤者并及时报警，这是每位司机应尽的法律义务和社会责任。
• 如果因特殊情况需要离开现场，也应先报警并说明情况，以便后续处理。通过遵守法律法规，共同维护道路交通的安全与秩序。

如有更多疑问或需要进一步的法律帮助，请直接向我咨询。