该工人是否属于合同利害关系人，不能仅凭其掌握大量军事秘密这一事实直接判定，而需结合具体合同内容及利害关系人的法律定义来综合分析。以下从不同角度为你详细阐述：

一、合同利害关系人的法律定义

合同利害关系人，通常指的是与合同具有直接利害关系，即合同的存在、履行、变更或终止会直接影响其权益的人。这包括合同的当事人（如发包方和承包方），以及可能因合同履行而受到影响的第三方（如合同履行涉及到的相邻权人、特定条件下的劳动者等）。

二、工人掌握军事秘密与合同利害关系人的关联

1. 若军事秘密与合同内容无直接关联：

   • 如果工人掌握的军事秘密并非其参与施工合同的一部分，或者该秘密与合同的履行、变更、终止等无直接联系，那么工人通常不被视为该合同的利害关系人。
   • 例如，工人可能因其他途径（如工作外的活动、个人兴趣等）掌握了军事秘密，但这并不改变其与施工合同之间的法律关系。

2. 若军事秘密与合同内容有直接关联：

   • 如果工人掌握的军事秘密是其参与施工合同的一部分，或者该秘密的泄露会直接影响合同的履行（如导致工程停工、合同解除等），那么工人可能因该秘密而成为合同的利害关系人。
   • 在这种情况下，工人可能需要承担保密义务，并且其保密行为的履行或违反可能会直接影响合同的效力及双方的权利义务。

三、特殊情况下的考虑

• 国家安全因素：如果工人掌握的军事秘密涉及国家安全，那么该秘密的保护可能受到特别法律的调整（如《中华人民共和国保守国家秘密法》）。在这种情况下，工人可能因违反保密义务而承担法律责任，但这并不直接决定其是否为合同利害关系人。
• 合同中的保密条款：如果施工合同中明确包含了保密条款，并且工人作为合同的一方或相关方（如分包商的员工）受到了该条款的约束，那么工人可能因违反保密条款而成为合同纠纷的当事人，从而间接成为合同利害关系人。

四、法律建议

• 审查合同内容：首先，应仔细审查施工合同的内容，特别是关于保密义务、利害关系人定义等条款，以确定工人是否因合同而成为利害关系人。
• 咨询专业意见：如果合同内容复杂或存在争议，建议咨询专业律师以获取更准确的法律意见。
• 采取保密措施：无论工人是否为合同利害关系人，如果其掌握军事秘密，都应采取必要的保密措施以防止秘密泄露。

总结来说，工人是否属于合同利害关系人取决于多个因素，包括军事秘密与合同内容的关联性、合同中的保密条款以及国家安全因素等。因此，在具体情况下需要综合分析以确定工人的法律地位。如果你有进一步的法律问题或需要更具体的法律建议，请直接向我咨询。