关于别人借用土地建厂后讨回要赔多少钱的问题，这并没有一个固定的数额，而是需要根据具体情况来综合判断和计算。以下是从不同角度为你进行的分析：
土地使用费用：
- 如果双方在借用土地时有明确的约定，比如每年支付多少土地使用费，那么讨回土地时，对方应当按照约定支付拖欠的土地使用费。
- 如果没有明确约定，但土地确实被对方用于建厂并产生了经济效益，你可以参考当地类似土地的使用费用标准，要求对方支付一定的土地使用补偿。
土地恢复费用：
- 对方在借用土地建厂期间，可能对土地造成了破坏或改变了土地的原状。讨回土地时，你有权要求对方承担土地恢复的费用，包括但不限于拆除建筑物、平整土地、恢复植被等。
- 土地恢复费用的具体数额，需要根据土地破坏的程度和恢复所需的成本来评估。如果双方无法达成一致，可以委托专业的评估机构进行评估。
经济损失赔偿：
- 如果对方在借用土地期间的行为给你造成了其他经济损失，比如因为土地被占用而无法进行其他农业活动或建设活动导致的损失，你有权要求对方进行赔偿。
- 经济损失的赔偿数额，需要根据实际损失的情况来计算，包括直接损失和间接损失。直接损失是指因对方行为直接导致的财产减少或支出增加，间接损失是指因对方行为导致的未来可得利益的减少。
合同或协议条款：
- 如果双方之间有签订书面的借用土地合同或协议，并且合同或协议中明确规定了借用期限、费用、违约责任等条款，那么讨回土地时，应当按照合同或协议的约定来执行。
- 如果对方违反了合同或协议的约定，你有权要求对方承担违约责任，包括支付违约金、赔偿损失等。
在具体操作中，你可以按照以下步骤进行：
- 收集证据：收集与土地借用相关的所有证据，包括合同、协议、照片、视频、证人证言等，以证明你的权益和对方的违约行为。
- 评估损失：委托专业的评估机构或自行根据实际情况评估土地恢复费用、经济损失等具体数额。
- 协商解决：在掌握充分证据和评估损失的基础上，与对方进行协商，尝试达成和解协议，明确赔偿数额和支付方式。
- 法律途径：如果协商无果，你可以向当地的人民法院提起诉讼，要求对方承担赔偿责任。在诉讼过程中，你需要提供充分的证据来支持你的主张。
最后需要强调的是，由于每个案件的具体情况都不同，因此无法给出一个具体的赔偿数额。如果你在实际操作中遇到困难或需要进一步的法律帮助，可以直接向我咨询，我会根据你的具体情况为你提供专业的法律建议。