拒不撤离施工现场并霸占工地多年的行为，若构成拒不执行判决、裁定罪（简称“拒执罪”），需由人民法院来认定。以下是对此问题的详细分析：

一、拒执罪的认定主体

拒执罪的认定主体是人民法院。当行为人存在拒不执行人民法院已经发生法律效力的判决、裁定的行为，且情节严重时，人民法院会根据相关法律规定和案件事实，对行为人是否构成拒执罪进行认定。

二、拒执罪的构成要件

要构成拒执罪，需要满足以下几个要件：

1. 存在有效的判决、裁定：即人民法院已经作出了具有法律效力的判决或裁定，且该判决或裁定已经生效。
2. 行为人拒不执行：行为人明知判决、裁定已经生效，却故意不履行判决、裁定所确定的义务。
3. 情节严重：行为人的拒不执行行为必须达到情节严重的程度，如造成严重后果、多次拒不执行等。

三、拒不撤离施工现场并霸占工地的行为分析

在建设工程领域，如果行为人因合同纠纷或其他原因被人民法院判决或裁定撤离施工现场，但行为人拒不撤离并霸占工地多年，这种行为可能构成拒执罪。具体来说：

1. 存在有效的判决、裁定：假设人民法院已经作出了要求行为人撤离施工现场的判决或裁定，且该判决或裁定已经生效。
2. 行为人拒不执行：行为人明知判决、裁定要求其撤离施工现场，却故意不撤离，并长期霸占工地。
3. 情节严重：行为人长期霸占工地，可能导致工程无法继续进行，给发包人或其他相关方造成重大经济损失，或者引发其他严重后果，如社会不稳定因素等。

四、认定拒执罪的程序

1. 申请执行：当判决、裁定生效后，权利人可以向人民法院申请执行。
2. 执行过程中发现拒执行为：在执行过程中，如果发现行为人存在拒不执行判决、裁定的行为，人民法院会进行调查取证。
3. 移送公安机关立案侦查：如果人民法院认为行为人的行为可能构成拒执罪，会将案件移送公安机关立案侦查。
4. 公安机关侦查、检察机关审查起诉、人民法院审判：公安机关会进行侦查，收集证据；检察机关会审查起诉，决定是否提起公诉；人民法院会进行审判，认定行为人是否构成拒执罪。

五、法律建议

1. 遵守判决、裁定：行为人应当遵守人民法院的判决、裁定，及时履行义务，避免构成拒执罪。
2. 积极沟通协商：如果行为人对判决、裁定有异议，可以通过合法途径提出申诉或上诉，而不是采取拒不执行的方式。
3. 寻求法律援助：如果行为人面临拒执罪的指控，应当及时寻求法律援助，了解自己的权利和义务，积极应对诉讼。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。