在工程终身责任制下，无法一概而论地说谁的责任最大，因为各责任主体根据其职责范围和过错程度承担相应的终身责任。以下是对各责任主体及其责任的详细分析：
一、责任主体及职责
建设单位项目负责人：
- 作为工程项目的发起者和组织者，对工程建设全过程负总体责任。
- 需全面管理和协调从规划、招标、施工到竣工验收等各个环节，确保工程符合法规、标准和合同要求。
勘察单位项目负责人：
- 负责工程项目所在地的地质、地理环境勘察，为设计和施工提供基础资料。
- 需组织并指导勘察工作，确保勘察成果真实、准确、完整。
设计单位项目负责人：
- 根据勘察成果和建设单位要求进行工程设计，直接影响工程的安全性、适用性和经济性。
- 需严格管理设计过程，审核设计文件，确保设计符合规范和标准。
施工单位项目经理：
- 作为施工现场的直接管理者，对工程质量负直接责任。
- 需组织施工团队按照设计文件和施工规范进行施工，合理安排施工进度、质量和安全管理等工作。
监理单位总监理工程师：
- 受建设单位委托，对施工过程进行监督管理。
- 需全面负责监理工作，审查施工组织设计、施工方案，监督工程质量、进度和造价控制，协调各方关系。
二、责任大小与过错程度
- 责任大小：各责任主体在工程终身责任制下的责任大小并非固定不变，而是根据其职责范围、过错程度以及在工程质量问题中所起的作用来综合判断的。例如，如果因设计单位的设计错误导致工程质量问题，那么设计单位项目负责人的责任将相对较大。
- 过错程度：过错程度是判断责任大小的重要因素。如果某责任主体在工程建设过程中存在故意或重大过失行为，导致工程质量问题，那么其责任将相对较大。相反，如果某责任主体已经尽到了合理的注意义务，但仍因不可抗力或其他非自身原因导致工程质量问题，那么其责任将相对较小。
三、责任追究与处罚
- 责任追究：根据《建筑工程五方责任主体项目负责人质量终身责任追究暂行办法》等相关法律法规，工程在设计使用年限内出现质量事故或严重质量问题，县级以上地方人民政府住房和城乡建设主管部门可依法追究上述五方责任主体项目负责人的质量终身责任。
- 处罚措施：处罚措施包括但不限于罚款、停业整顿、吊销执照，甚至可能追究刑事责任。具体处罚措施将根据责任主体的过错程度、造成的后果以及相关法律法规的规定来确定。
四、建议与措施
- 加强质量管理：各责任主体应加强对工程建设全过程的质量管理，确保工程符合法规、标准和合同要求。
- 完善责任制度：建立健全工程质量终身责任制度，明确各责任主体的职责和责任范围，确保责任到人。
- 加强监督与检查：相关部门应加强对工程建设的监督与检查，及时发现和纠正质量问题，防止质量事故的发生。
如有任何关于工程终身责任制或其他法律问题的疑问，请随时向我咨询。我将根据您的具体情况，提供专业、全面的法律建议。