乡政府和村委会在调查农村土地纠纷时，仅以“人多说的为准”来损害少数人的合法权益，这种做法是违法的。以下从几个角度进行详细分析：

1. 法律原则角度：

   • 在处理农村土地纠纷时，应当遵循公平、公正、公开的原则，确保所有当事人的合法权益得到平等保护。乡政府和村委会作为基层行政和自治组织，有责任维护这一原则，而不是简单地以人数多少来决定纠纷的处理结果。
   • 根据《中华人民共和国土地管理法》等相关法律法规，土地纠纷的解决应当基于事实和法律，而不是基于人数或舆论压力。因此，仅以“人多说的为准”来损害少数人的合法权益，显然违背了法律原则。

2. 程序正当性角度：

   • 乡政府和村委会在处理土地纠纷时，应当遵循正当的程序，包括调查取证、听取双方意见、组织调解等。如果仅以“人多说的为准”来作出决定，就忽视了程序正当性的要求，可能导致处理结果的不公正。
   • 正当的程序是保障当事人合法权益的重要手段。如果程序不正当，即使处理结果在表面上看起来“合理”，也可能因为侵犯了当事人的程序权利而被视为违法。

3. 少数人权益保护角度：

   • 在农村土地纠纷中，少数人往往处于弱势地位，他们的合法权益更容易受到侵害。因此，乡政府和村委会在处理纠纷时，应当特别关注少数人的权益保护，确保他们的声音被听到、他们的利益得到维护。
   • 如果仅以“人多说的为准”来损害少数人的合法权益，就忽视了少数人权益保护的重要性，可能导致社会不公和矛盾激化。

4. 法律后果角度：

   • 如果乡政府和村委会在处理土地纠纷时违法损害了少数人的合法权益，那么这些少数人可以通过法律途径来维护自己的权益。他们可以向上一级政府或相关部门投诉、申请行政复议或提起行政诉讼等。
   • 一旦这些违法行为被确认，乡政府和村委会可能会面临法律责任，包括撤销违法决定、赔偿损失等。

建议：

• 乡政府和村委会在处理农村土地纠纷时，应当严格遵守法律法规和程序要求，确保所有当事人的合法权益得到平等保护。
• 如果遇到复杂的土地纠纷案件，建议乡政府和村委会寻求专业法律人士的帮助，以确保处理结果的合法性和公正性。
• 对于受到不公正对待的少数人，应当鼓励他们通过法律途径来维护自己的权益，不要因为人数少或力量弱而放弃维权。

如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。