应当由借牛人赔偿庄稼的损失。下面我将对此进行详细分析：
一. 借牛人应承担赔偿责任
基于借用关系：根据一般的民事法律原则，借用人借用他人物品期间，对该物品有妥善使用和保管的义务。若借用人在使用过程中导致物品损坏或造成他人损失，借用人应承担赔偿责任。在此案例中，借牛人在借用牛期间，牛破坏了别人的庄稼，因此借牛人应赔偿庄稼的损失。
过错责任原则：在侵权责任法中，过错责任原则是一个基本原则。即，如果某人因为过错（如疏忽、不当行为等）导致他人损失，那么该人应承担赔偿责任。在此案例中，借牛人未能妥善管理借用的牛，导致牛破坏了庄稼，可以认为借牛人存在过错，因此应承担赔偿责任。
二. 牛主人不直接承担赔偿责任
基于借用关系的风险转移：当物品被借出后，其使用风险也随之转移给借用人。在此案例中，牛主人将牛借出后，对牛的使用和控制权就转移给了借牛人。因此，牛在借用期间造成的损失，应由借牛人承担，而不是牛主人。
例外情况：当然，也存在一些例外情况。比如，如果牛主人明知牛有破坏庄稼的习性或倾向，却仍然将牛借出，且未告知借牛人，那么牛主人可能因未履行告知义务而承担一定的责任。但在此案例中，并未提及牛主人有此类过错，因此不直接承担赔偿责任。
综上所述，应当由借牛人赔偿庄稼的损失。这是基于借用关系和过错责任原则得出的结论。如有进一步需要，您可以继续咨询我。