荒废土地被人侵占，您是有权利拿回的。不过，具体能否成功拿回以及拿回的方式，会因土地的性质、权属状况以及侵占的具体情况而有所不同。以下是从不同角度为您进行的分析：
一、土地性质与权属
国有土地：
- 如果荒废的土地属于国有，那么您需要确认自己是否拥有该土地的使用权或相关权益。国有土地的使用权通常通过出让、划拨等方式取得，并会颁发相应的土地使用权证书。
- 若您拥有使用权，且土地被他人非法侵占，您可以依据《中华人民共和国土地管理法》等相关法律法规，通过法律途径要求侵占者返还土地，并可能要求赔偿因此造成的损失。
集体土地：
- 对于集体所有的土地，如耕地、林地、草地等，其使用权通常归属于集体成员或由集体组织发包给个人使用。
- 如果您是集体成员且拥有该土地的使用权，或者您通过合法方式取得了土地的使用权（如承包、租赁等），那么土地被侵占时，您同样有权要求侵占者返还，并可以依据相关法律法规维护自己的权益。
二、侵占的具体情况
非法侵占：
- 如果侵占者没有合法的依据或权利而占用您的土地，这构成非法侵占。在这种情况下，您可以通过协商、调解、行政投诉或诉讼等方式要求侵占者返还土地。
- 诉讼时，您需要提供充分的证据证明自己对土地拥有合法的使用权或权益，以及侵占者非法占用土地的事实。
存在争议或纠纷：
- 有时候，土地的权属或使用权可能存在争议或纠纷。在这种情况下，您可能需要先通过行政程序（如土地权属确认）或司法程序（如诉讼）来解决争议，明确土地的权利归属。
- 一旦土地的权利归属得到确认，您就可以依据确认结果来要求侵占者返还土地。
三、法律建议与行动步骤
收集证据：
- 在采取任何行动之前，您需要收集充分的证据来证明自己对土地拥有合法的使用权或权益，以及侵占者非法占用土地的事实。这些证据可能包括土地使用权证书、承包合同、租赁协议、照片、视频等。
协商与调解：
- 在证据充分的情况下，您可以尝试与侵占者进行协商或调解，寻求和平解决争议的方式。这可以节省时间和成本，并避免不必要的法律纠纷。
行政投诉：
- 如果协商或调解无果，您可以向当地的土地管理部门或相关行政机构进行投诉，要求他们介入调查并处理侵占行为。
诉讼：
- 如果行政投诉也没有得到满意的结果，您可以考虑通过诉讼来维护自己的权益。在诉讼过程中，您需要提供充分的证据来支持自己的主张，并遵循法院的判决和裁定。
最后，我想强调的是，每个案件都有其独特性和复杂性。因此，在处理荒废土地被人侵占的问题时，我建议您根据具体情况咨询专业律师（当然，您可以直接向我咨询，我擅长处理拆迁安置、土地纠纷领域的问题），以便获得更具体、更专业的法律建议和帮助。