结论：一般情况下您无需赔偿对方投入的钱，但具体是否要赔偿以及赔偿多少，需结合合同约定、对方投入性质、是否提前通知等多方面因素综合判断。以下是详细分析：

从合同约定角度分析

1. 合同有明确约定：如果租赁合同中明确约定了合同到期后，对于承租人投入的大棚等设施如何处理，比如约定承租人需自行拆除恢复原状，或者约定出租人需给予一定补偿等，那么双方应当按照合同约定履行。若合同约定您无需赔偿，您就可以依据合同拒绝对方的赔偿要求；若合同约定了您需给予一定补偿，那您就需要按照约定履行。
2. 合同无明确约定：当合同没有对承租人投入设施的处理作出明确规定时，根据《民法典》中关于租赁合同的相关规定，承租人经出租人同意装饰装修，租赁期间届满时，承租人请求出租人补偿附合装饰装修费用的，不予支持。但当事人另有约定的除外。大棚一般属于承租人为了经营需要而搭建的设施，如果大棚与土地形成了附合（即大棚已经和土地紧密结合，拆除会损害土地或大棚本身价值），在合同无约定的情况下，您通常没有义务赔偿对方投入的钱。

从对方投入性质角度分析

1. 可移动设施：如果对方投入的大棚是可移动的，比如是简易的、可以拆卸搬运的大棚，在合同到期后，对方应该自行拆除并搬走，您无需对其投入进行赔偿。因为这些设施并没有成为土地的一部分，对方可以带走继续使用。
2. 不可移动设施且对土地有增值：若大棚是不可移动的，且其存在使土地的价值有所提升，例如建设了高质量的、永久性的大棚，对土地的肥力、使用功能等有积极影响。在这种情况下，虽然合同没有约定，从公平原则的角度出发，您可能需要给予对方一定的补偿，但补偿的金额需要综合考虑大棚的剩余使用年限、对土地增值的贡献等因素，并非对方投入多少就赔偿多少。

从是否提前通知角度分析

1. 您提前合理通知：如果您在合同到期前合理的时间内，已经明确通知对方合同到期后不再续租，并要求对方在合同到期时恢复土地原状或者处理好自己投入的设施。那么对方在明知合同到期的情况下，仍然继续投入资金建设大棚，由此产生的损失应由其自行承担，您无需赔偿。
2. 您未提前通知或通知不当：如果您没有提前通知对方合同到期后的处理方式，或者通知的时间过短，导致对方没有足够的时间来处理大棚等设施，从而造成了一定的损失。在这种情况下，对方可能会主张您承担一定的责任，您可能需要根据实际情况给予对方一定的补偿。

建议

1. 查看合同：仔细审查租赁合同中关于设施处理、违约责任等方面的条款，明确双方的权利和义务。
2. 与对方协商：尝试与对方进行友好协商，说明您的立场和依据，争取达成一个双方都能接受的解决方案。
3. 寻求第三方调解或法律途径：如果协商不成，您可以考虑寻求第三方调解机构的帮助，如农村土地承包仲裁委员会等；也可以直接向法院提起诉讼，通过法律途径解决纠纷。