结论：实际施工人去工地拆除是否违法，不能一概而论，需根据拆除行为的具体性质、目的以及是否获得合法授权等因素综合判断。以下从不同角度进行分析：

1. 合法拆除情形：

   • 获得合法授权：如果实际施工人因工程需要，且已经获得了建设单位、施工单位或相关管理部门的合法授权，按照合同约定或法律规定进行拆除作业，那么这种拆除行为是合法的。例如，在工程改造、维修或拆除旧有建筑时，按照既定计划和安全规范进行拆除。
   • 紧急避险或自救：在特定情况下，如工地发生紧急危险（如建筑物即将倒塌威胁人员安全），实际施工人为了保护人员生命财产安全而进行的紧急拆除行为，可能构成紧急避险或自救，此时拆除行为虽可能未经事先授权，但通常不被视为违法。不过，事后需及时向相关部门报告并说明情况。

2. 违法拆除情形：

   • 未经授权擅自拆除：如果实际施工人未经建设单位、施工单位或相关管理部门的同意，擅自对工地上的建筑物、构筑物或其他设施进行拆除，这种行为很可能构成违法。它可能侵犯了他人的财产权，也可能违反了城市规划、建设管理等相关法律法规。
   • 违反安全规范拆除：即使获得了拆除授权，但如果实际施工人在拆除过程中违反了安全规范、操作程序或环保要求，如未采取必要的安全防护措施、未妥善处理拆除废弃物等，也可能构成违法。这种行为不仅可能危及人员安全，还可能对环境造成污染或破坏。
   • 恶意拆除或报复性拆除：如果实际施工人出于恶意、报复或其他非法目的而进行拆除行为，如故意破坏他人财产、泄愤报复等，这种行为显然构成违法，并可能承担刑事责任。

法律建议：

• 对于实际施工人而言，在进行任何拆除作业前，务必确保获得合法授权，并严格遵守相关法律法规和安全规范。
• 如果对拆除行为的合法性存在疑问或争议，建议及时咨询专业律师或相关管理部门，以获取准确的法律意见和指导。
• 在拆除过程中，应做好安全防护措施和环保处理工作，确保人员安全和环境不受污染。

可能法律后果：

• 如果拆除行为被认定为违法，实际施工人可能面临民事赔偿、行政处罚甚至刑事责任等法律后果。具体后果取决于违法行为的性质、情节以及造成的损害后果等因素。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我会根据你的具体情况提供详细的法律意见和解决方案。