林地上的违法建筑，其拆除主体主要依据建筑所在区域及违法性质来确定，具体如下：
若违法建筑位于城市、镇规划区内的林地上：
- 拆除主体：县级以上地方人民政府城乡规划主管部门。
- 法律依据：根据《中华人民共和国城乡规划法》第六十四条及第六十八条，城乡规划主管部门有权责令停止建设、限期改正，并可根据情况采取查封施工现场、强制拆除等措施。若当事人不停止建设或者逾期不拆除，建设工程所在地县级以上地方人民政府可以责成有关部门采取强制拆除措施。
若违法建筑位于乡、村庄规划区内的林地上：
- 拆除主体：乡、镇人民政府。
- 法律依据：依据《中华人民共和国城乡规划法》第六十五条，乡、镇人民政府有权责令停止建设、限期改正，并在逾期不改正的情况下进行拆除。
若违法建筑涉及非法占用土地进行建设：
- 拆除主体：县级以上人民政府自然资源主管部门。
- 法律依据：根据《中华人民共和国土地管理法》第七十七条，自然资源主管部门有权责令退还非法占用的土地，限期拆除新建建筑物，恢复土地原状，并可处以罚款。
在拆除违法建筑的过程中，必须严格遵守法律程序，确保当事人的合法权益得到保护：
- 调查取证：相关部门需对涉嫌违法的建筑进行调查，收集相关证据，确认其是否属于违法建筑。
- 告知与听证：在作出拆除决定前，应依法告知当事人相关权利，如申请行政复议或提起行政诉讼的权利，并给予其陈述、申辩的机会。必要时，可举行听证会，确保程序的公正性。
- 作出决定：根据调查结果和法律规定，相关部门将作出是否拆除的决定，并明确拆除期限和方式。
- 执行与监督：拆除决定生效后，相关部门应依法执行拆除工作，并确保拆除过程的安全和有序。同时，应接受社会监督，确保拆除工作的公正性和透明度。
针对您的情况，我建议：
- 确认违法建筑的具体位置和性质：首先，需要明确违法建筑是位于城市、镇规划区内还是乡、村庄规划区内，以及是否涉及非法占用土地进行建设。
- 了解相关法律法规和程序：在确认违法建筑的性质后，应详细了解相关法律法规和拆除程序，以便更好地维护自己的合法权益。
- 积极与相关部门沟通：在拆除过程中，应积极与相关部门沟通，了解拆除进展和可能的影响，以便及时采取应对措施。
若您对拆除决定不服或认为拆除过程中存在违法行为，您有权依法申请行政复议或提起行政诉讼，以维护自己的合法权益。如果您在林地违法建筑拆除方面有任何疑问或需要进一步的法律帮助，请随时向我咨询。