在林地违建拆除的问题上，责任归属并非单一指向使用者、所有者或最初的建造者，而是需根据具体情况综合判断。以下从不同角度进行分析：

1. 从土地权属角度：

   • 所有者责任：若林地所有者明知或应知存在违建行为，且未采取合理措施阻止或报告，可能需承担一定责任。但通常，所有者的主要责任在于确保土地不被非法占用，而非直接对违建行为负责。若所有者已尽到合理管理义务，则一般不直接承担违建拆除责任。
   • 使用者责任：若林地被合法或非法转让给使用者，且使用者在其使用范围内进行了违建，那么使用者作为直接行为人，应承担违建拆除的主要责任。使用者有义务遵守土地管理法规，不得在林地上进行违法建设。

2. 从违建行为角度：

   • 最初建造者责任：若最初建造者未经许可，在林地上擅自建造建筑物或构筑物，那么其作为违建行为的直接实施者，应承担违建拆除的责任。无论后续土地权属如何变更，最初建造者的违建行为本身即构成违法。
   • 后续使用者或管理者责任：若违建建筑物或构筑物在建造后，被转让或出租给其他使用者或管理者，且这些使用者或管理者在明知或应知违建的情况下继续使用或管理，那么他们也可能需承担一定责任，尤其是在违建拆除过程中需配合相关部门工作。

3. 从法律程序角度：

   • 行政责任：根据《中华人民共和国土地管理法》等相关法律法规，对于林地上的违建行为，林业主管部门或相关行政机关有权依法进行查处，并责令限期拆除。在此过程中，行政机关会依法确定责任主体，并要求其承担拆除责任。
   • 民事责任：若违建行为给林地所有者或其他相关方造成损失，违建行为人还需承担民事赔偿责任。这包括恢复林地原状、赔偿经济损失等。

法律建议：

• 对于林地所有者而言，应加强对林地的管理，定期巡查，及时发现并制止违建行为。若发现违建，应及时向相关部门报告，并配合处理。
• 对于林地使用者而言，应严格遵守土地管理法规，不得在林地上进行违法建设。若已存在违建，应主动配合相关部门进行拆除，并承担相应责任。
• 若涉及违建拆除纠纷，建议各方及时咨询专业律师，了解自身权利义务，并依法维护自身合法权益。

可能法律后果：

• 若违建行为人拒不配合拆除工作，相关部门有权依法采取强制拆除措施，并可能对其处以罚款等行政处罚。
• 若违建行为给林地所有者或其他相关方造成严重损失，违建行为人还可能面临刑事责任追究。

如有具体法律问题或需要进一步的法律帮助，请直接向我咨询。