结论：对方是否需要承担责任，取决于你们之间是否存在合法有效的合同关系以及合同的具体约定、对方要求你搬走的原因等因素，以下分情况说明：
- 存在合法有效的租赁合同且对方无正当理由要求搬走
- 合同约定明确：如果你们签订了书面的场地租赁合同，合同中明确约定了租赁期限、租金支付方式、双方的权利义务等内容，且在租赁期限内，对方无正当理由要求你搬走，这属于对方违约。根据《中华人民共和国民法典》第五百七十七条规定，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。
- 违约责任承担方式：在这种情况下，你有权要求对方继续履行合同，让你继续使用场地进行养殖；如果继续履行合同已经不可能或者你不想继续履行，你可以要求对方赔偿你的损失。损失赔偿的范围包括你因搬离场地而产生的直接损失，如搬迁费用、养殖物的处理损失等，还包括因合同无法履行而导致的预期利益损失，例如在剩余租赁期内你可能获得的养殖收益等。不过，预期利益损失的赔偿需要你有充分的证据证明，如过往的养殖收益记录、市场行情等。
- 不存在书面合同或者合同无效
- 口头协议情况：如果你们只是达成了口头协议，没有签订书面合同，但你有证据证明双方存在场地租赁的合意，比如聊天记录、证人证言等，同样可以依据相关法律规定主张自己的权益。不过，口头协议在举证方面相对困难，需要你尽可能收集充分的证据来证明租赁关系的存在以及对方要求你搬走属于违约行为。
- 合同无效情形：如果场地租赁合同存在违反法律、行政法规的强制性规定或者违背公序良俗等无效情形，例如租赁的场地属于违法建筑、未经批准擅自改变土地用途等，那么合同自始无效。在这种情况下，对方要求你搬走，双方应根据各自的过错程度承担相应的责任。如果对方明知场地存在违法情形仍然与你签订租赁合同，对方存在主要过错，应当赔偿你因此遭受的损失；如果你在签订合同时也存在过错，比如明知场地可能存在问题仍然租赁，你也需要承担一定的责任，具体责任比例需要根据双方的过错程度来确定。
- 对方有合法正当理由要求你搬走
- 场地使用受限：如果对方因为自身原因需要使用该场地，例如场地所有权人要求收回场地、政府因公共利益需要征收场地等，导致对方无法继续将场地出租给你，这属于对方有合法正当理由要求你搬走。在这种情况下，对方一般不需要承担违约责任，但应当按照合同约定或者法律规定给予你合理的搬迁时间，并可能需要根据实际情况对你因搬迁而产生的合理损失进行一定的补偿。
- 你存在违约行为：如果你在使用场地过程中违反了合同约定或者相关法律法规的规定，例如未按时支付租金、擅自改变场地用途、对场地造成严重损坏等，对方有权要求你搬走。在这种情况下，你不仅需要承担搬离场地的责任，还可能需要赔偿对方因此遭受的损失。