在乡镇新起违建的情况下，责任的大小需根据具体情况来判断，无法一概而论谁的责任更大，但通常涉及土地使用者、建设者以及可能的监管部门等多方主体。以下是从不同角度对责任大小的分析：

1. 土地使用者或所有者责任：

   • 如果土地使用者或所有者明知或应知建设行为违法，却未加以制止或报告，甚至可能默许或参与违建，那么他们可能需要承担一定的法律责任。这种责任可能源于对土地使用的监管不力，或者对违法建设行为的纵容。
   • 例如，若土地所有者将土地出租给建设者进行违建，且未履行告知义务或未采取必要措施阻止违建行为，土地所有者可能需承担连带责任。

2. 建设者责任：

   • 建设者是直接实施违建行为的主体，他们通常需要承担主要责任。无论土地使用者或所有者是否知情或同意，建设者都应遵守相关法律法规，不得擅自改变土地用途或进行违法建设。
   • 如果建设者明知建设行为违法却仍然实施，那么他们可能需要承担更重的法律责任，包括但不限于拆除违建、恢复原状、罚款等。

3. 监管部门责任：

   • 监管部门在违建行为的发现和制止中扮演着重要角色。如果监管部门未能及时发现并制止违建行为，或者存在监管不力、玩忽职守等情况，那么他们可能需要承担一定的行政责任或法律责任。
   • 例如，若乡镇政府或相关职能部门未履行巡查职责，导致违建行为长期存在且未得到及时处理，那么这些部门可能需承担相应的监管责任。

法律建议：

• 对于土地使用者或所有者而言，应加强对土地使用的监管，确保不发生违法建设行为。一旦发现违建行为，应及时制止并报告相关部门。
• 对于建设者而言，应严格遵守相关法律法规，不得擅自改变土地用途或进行违法建设。在建设前，应确保已获得必要的许可和批准。
• 对于监管部门而言，应加强对违建行为的巡查和监管力度，确保及时发现并制止违建行为。同时，应建立健全的监管机制和责任追究制度，对监管不力的行为进行严肃处理。

可能的法律后果：

• 违建行为可能面临被拆除、恢复原状、罚款等法律后果。同时，相关责任主体还可能面临行政处罚或刑事责任追究。

在处理乡镇新起违建问题时，应综合考虑各方主体的责任和义务，确保问题得到妥善解决。如果您在房产领域遇到任何法律问题，可以直接向我咨询。