结论：是否可以不给别人继续耕种荒地，取决于你对这块荒地的使用是否合法合规，以及对方是否拥有合法的土地权益或相关权利。以下从不同情况进行分析：
若你未获得合法授权或承包经营权：
- 法律背景：根据《中华人民共和国土地管理法》及相关规定，农村土地（包括荒地）的使用权通常需要通过承包、租赁等方式合法取得。如果你没有与土地所有者（如村集体）签订承包合同或获得其他合法授权，那么你对这块荒地的使用可能并不合法。
- 法律建议：在这种情况下，如果原土地使用者或所有者要求收回土地，你应当归还。因为你的使用行为本身可能缺乏法律依据，无法对抗对方的合法要求。
- 可能后果：若你拒绝归还，对方可能通过法律途径（如起诉）要求你返还土地，并可能要求你赔偿因非法占用土地而造成的损失。
若你已获得合法授权或承包经营权：
- 法律背景：如果你已经通过合法途径（如承包、租赁）获得了这块荒地的使用权，并且你的使用行为符合相关法律法规和合同约定，那么你对这块土地享有合法的使用权。
- 法律建议：在这种情况下，如果原土地使用者或所有者要求收回土地，你可以拒绝，并告知对方你的使用权是合法取得的。如果对方坚持要求收回，你可以通过法律途径维护自己的合法权益。
- 可能后果：若对方通过不正当手段（如威胁、恐吓）要求你归还土地，你可以向相关部门（如公安机关、土地管理部门）报案，要求对方停止侵权行为并承担相应的法律责任。
关于对方是否拥有合法权利：
- 分析角度：除了考虑你自己的使用权是否合法外，还需要考虑对方是否拥有合法的土地权益或相关权利。例如，如果对方是土地的所有者或原承包人，并且他们从未放弃过对土地的权利，那么他们要求收回土地可能是合法的。
- 法律建议：在这种情况下，建议你与对方进行沟通协商，了解对方的诉求和依据。如果对方确实拥有合法的土地权益或相关权利，并且你的使用行为确实侵犯了对方的权益，那么你应当考虑与对方达成和解或协商解决方案。
- 可能后果：若双方无法达成和解或协商解决方案，并且对方坚持要求收回土地，那么你可能需要通过法律途径解决纠纷。在这种情况下，建议你咨询专业律师以获取更具体的法律建议和支持。
进一步思考：在处理此类纠纷时，建议你首先了解自己的法律地位和权益情况，包括是否拥有合法的土地使用权、承包经营权等。同时，你也需要了解对方的诉求和依据，以便更好地应对纠纷。如果双方无法自行解决纠纷，可以考虑通过调解、仲裁或诉讼等法律途径解决。在任何情况下，都建议你保持冷静和理性，避免采取过激行为或言语攻击对方。
最后：如果你在处理此类纠纷时遇到任何法律问题或需要进一步的法律建议和支持，请直接向我咨询。作为专注于合同纠纷、房产纠纷领域的专业律师，我将竭诚为你提供帮助。