结论：针对您提出的“别人荒地给我改造好他又要回去怎么办”的问题，这主要涉及到土地使用权和合同关系两个方面，具体处理方式需根据实际情况来判断。以下是从不同角度为您进行的分析：
一、土地使用权角度
若您未取得合法土地使用权：
- 如果您并未通过合法途径（如承包、租赁等）取得该荒地的使用权，而是仅基于对方的口头允许或默许进行改造，那么对方作为土地的原权利人，有权要求您返还土地。在此情况下，您可能面临无法继续使用该土地，且改造投入可能无法得到补偿的风险。
若您已取得合法土地使用权：
- 如果您已经通过承包、租赁等合法方式取得了该荒地的使用权，并进行了改造，那么对方无权单方面要求您返还土地。若对方坚持要求，您可以通过法律途径维护自己的合法权益，如要求对方继续履行合同、赔偿损失等。
二、合同关系角度
存在书面合同：
- 如果您与对方之间存在书面合同，明确约定了土地的使用期限、改造投入、收益分配等事项，那么双方应严格按照合同约定履行。若对方违反合同约定要求返还土地，您可以依据合同条款要求对方承担违约责任，如支付违约金、赔偿损失等。
不存在书面合同或合同内容不明确：
- 如果双方之间没有书面合同，或者合同内容不明确，导致双方对土地使用权、改造投入等事项存在争议，那么可能需要通过协商、调解或诉讼等方式解决。在此过程中，您应尽可能收集相关证据（如改造前后的照片、视频、证人证言等），以证明自己的改造投入和土地使用情况。
三、实际操作建议
核实土地使用权情况：
- 首先，您需要核实自己是否取得了该荒地的合法使用权。可以通过查询土地登记资料、承包合同、租赁合同等方式进行确认。
审查合同条款：
- 如果双方之间存在合同关系，您应仔细审查合同条款，了解自己的权利和义务。特别是关于土地使用期限、改造投入、收益分配等关键条款，应做到心中有数。
收集证据：
- 在处理此类纠纷时，证据是关键。您应尽可能收集与土地使用、改造投入相关的证据，如照片、视频、证人证言、合同文本等。这些证据将在后续的协商、调解或诉讼过程中发挥重要作用。
寻求法律帮助：
- 如果双方无法通过协商解决纠纷，或者您认为自己的合法权益受到了侵害，可以寻求法律帮助。可以向当地法律援助机构咨询，或者委托专业律师代理诉讼。
最后，针对您提出的问题，我建议您首先核实自己的土地使用权情况，并审查与对方之间的合同关系。如果存在争议或纠纷，应及时收集证据并寻求法律帮助。如果您有任何疑问或需要进一步的法律咨询，请随时向我提问。