关于“撂荒违法谁来处理”的问题，这主要涉及到农村土地管理和保护的相关法律法规。首先，需要明确的是，撂荒土地本身并不直接构成违法，但长期撂荒且未按照法律规定进行处理的，则可能引发一系列法律后果，并由相关部门介入处理。

一、法律法规依据

1. 《中华人民共和国农村土地承包法》：该法明确规定，土地经营权人弃耕抛荒连续两年以上，且承包方在合理期限内不解除土地经营权流转合同的，发包方有权要求终止土地经营权流转合同。这意味着，如果土地被撂荒且符合上述条件，发包方（通常是村集体经济组织）有权采取措施，包括终止合同，以促使土地得到合理利用。

2. 《基本农田保护条例》：该条例强调了对基本农田的保护，禁止任何单位和个人闲置、荒芜基本农田。对于违反规定的行为，相关部门将依法进行处罚，包括责令限期改正、罚款等。

二、处理主体与流程

1. 村集体经济组织：作为土地的发包方，村集体经济组织在发现土地撂荒情况后，通常会首先进行调查和了解，然后根据法律法规和合同约定，与土地经营权人进行沟通协商，要求其恢复耕种或采取其他合理利用措施。

2. 农业农村部门：如果村集体经济组织无法有效解决问题，或者撂荒情况严重，农业农村部门将介入处理。农业农村部门会依据相关法律法规，对撂荒土地进行调查评估，并根据情况采取相应的行政措施，如责令限期改正、罚款等。同时，农业农村部门还会提供技术指导和政策支持，帮助土地经营权人恢复耕种或找到其他合理利用途径。

3. 自然资源部门：在涉及土地用途管制和规划方面的问题时，自然资源部门也会参与处理。例如，如果撂荒土地被非法改变用途或用于非农业建设，自然资源部门将依法进行查处和纠正。

三、建议与措施

1. 加强宣传教育：通过广播、电视、报纸等渠道，加强对耕地保护法律法规和政策文件的宣传解读，提高农民群众依法科学合理用地意识。

2. 分类推进治理：根据撂荒地的具体情况和原因，采取有针对性的治理措施。如对于无人耕种的土地，可以发展代耕代种、代管代收等社会化服务；对于不具备耕作条件的土地，可以纳入高标准农田建设范围进行改造提升。

3. 强化政策支持：出台多项支持撂荒地治理的措施，包括财政补贴、金融支持、技术指导等，鼓励和支持土地经营权人恢复耕种或找到其他合理利用途径。

综上所述，撂荒土地的处理涉及多个部门和法律法规的协同作用。在发现撂荒情况后，村集体经济组织应首先进行沟通协商；如果无法解决问题或情况严重，农业农村部门和自然资源部门将依法介入处理。同时，通过加强宣传教育、分类推进治理和强化政策支持等措施，可以有效促进撂荒土地的合理利用和保护。