针对危货驾驶员违规卸货致人死亡的情况，其可能面临的处罚是非常严厉的，并且涉及刑事处罚和行政处罚两个层面。以下是具体的处罚措施：

一、刑事处罚

根据《中华人民共和国刑法》的相关规定，危货驾驶员如果违反交通运输管理法规，因而发生重大事故，致人重伤、死亡或者使公私财产遭受重大损失的，可能会面临以下刑事处罚：

1. 处三年以下有期徒刑或者拘役。
2. 若交通运输肇事后逃逸或存在其他特别恶劣情节，可能处三年以上七年以下有期徒刑。
3. 因逃逸致人死亡的，将处七年以上有期徒刑。

此外，如果驾驶员在道路上驾驶机动车时，违反危险化学品安全管理规定运输危险化学品，危及公共安全的，还可能依照《中华人民共和国刑法》的相关规定，处拘役，并处罚金。若同时构成其他犯罪，将依照处罚较重的规定定罪处罚。

二、行政处罚

除了刑事处罚外，危货驾驶员还可能面临行政处罚。根据《危险化学品安全管理条例》第八十八条，违规操作危险品车辆可能面临以下行政处罚：

1. 由公安机关责令改正，并处以5万元以上10万元以下的罚款。
2. 若构成违反治安管理行为，还将依法给予治安管理处罚。

综上所述，危货驾驶员违规卸货致人死亡将面临严厉的刑事处罚和行政处罚。因此，从事危险品运输的相关人员应严格遵守相关法律法规，确保运输过程的安全与合法，以避免不必要的法律后果。同时，对于此类严重违法行为，社会各界也应加强监督和举报，共同维护公共安全和社会秩序。