在卡车撞到限高杆导致人员死亡的情况下，责任归属需根据具体情形来确定，可能涉及多方主体，包括卡车驾驶员、卡车所属单位、道路管理部门等。以下是对此问题的详细分析：

1. 卡车驾驶员的责任：

   • 如果卡车驾驶员因违反交通规则（如超速、未注意路况等）或操作不当导致撞到限高杆，进而造成人员死亡，那么驾驶员将承担主要的交通事故责任。根据《中华人民共和国道路交通安全法》的相关规定，驾驶员需对其违法行为造成的后果承担法律责任，可能包括刑事责任（如交通肇事罪）和民事赔偿责任。

2. 卡车所属单位的责任：

   • 如果卡车属于某单位所有或管理，且该单位在车辆管理、驾驶员培训等方面存在疏忽或过错，导致事故发生，那么单位也可能需承担一定的法律责任。这主要依据《中华人民共和国民法典》中关于雇主责任或单位责任的相关规定。单位可能需对受害者的家属进行民事赔偿，并可能面临行政处罚。

3. 道路管理部门的责任：

   • 如果限高杆的设置、维护或管理存在瑕疵，如限高杆高度设置不合理、未设置明显的警示标志等，导致卡车驾驶员无法及时避让而发生事故，那么道路管理部门也可能需承担一定的责任。这主要依据《中华人民共和国公路法》等相关法律法规，道路管理部门有责任确保道路设施的安全和畅通。

4. 其他可能责任方：

   • 在某些特殊情况下，如限高杆因第三方原因（如其他车辆撞击、自然灾害等）而损坏或倒塌，导致卡车撞上并造成人员死亡，那么第三方也可能需承担一定的责任。此外，如果卡车存在超载、超限等违法行为，且这些违法行为与事故发生有直接关联，那么相关监管部门也可能需承担一定的监管责任。

在处理此类事故时，应首先由交警部门进行事故责任认定，明确各方在事故中的责任比例。然后，根据责任认定结果，受害者家属可以向相关责任方提起民事诉讼，要求赔偿损失。如果事故涉及刑事犯罪，如交通肇事罪，那么公安机关将依法进行刑事侦查，并移送检察机关审查起诉。

建议：在面对此类交通事故时，受害者家属应尽快咨询专业律师，了解自身权益和维权途径。同时，保留好相关证据，如事故现场照片、交警部门的事故认定书、医疗记录等，以便在后续的法律程序中维护自身权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。