结论：是否需要归还土地，取决于多个因素，包括你是否合法取得了土地承包经营权、邻居放弃土地的具体情况以及当地的相关政策等。以下从不同角度进行分析：
一、合法取得土地承包经营权的情况
确权程序合法：
- 如果你在二轮承包中，通过合法的程序（如村民会议讨论、公示、签订承包合同等）取得了土地的承包经营权，并且已经完成了确权登记，那么你的土地承包经营权是受到法律保护的。
- 在这种情况下，即使邻居原本可能对该土地有某种权益，但既然你已经合法取得了承包经营权，并且完成了确权，那么邻居通常无权要求你归还土地。
邻居明确放弃：
- 如果邻居在二轮承包时明确表示放弃该土地，并且这一放弃行为经过了合法的程序（如书面声明、村民会议记录等），那么邻居通常不能反悔要求你归还土地。
- 邻居的放弃行为可能构成对其土地权益的处分，一旦处分完成，除非存在法定情形（如欺诈、胁迫等），否则不得随意撤销。
二、可能存在争议的情况
确权程序存在瑕疵：
- 如果你的确权程序存在瑕疵，比如未经合法程序取得土地承包经营权、未签订承包合同或合同内容存在争议等，那么邻居可能有权要求你归还土地。
- 在这种情况下，你需要审查确权程序的合法性，并考虑通过法律途径解决争议。
邻居未明确放弃或存在误解：
- 如果邻居在二轮承包时并未明确表示放弃该土地，或者存在误解认为只是暂时不耕种而非放弃承包权，那么邻居可能有权要求你归还土地或重新分配。
- 在这种情况下，你需要与邻居进行沟通协商，明确双方的权利义务，并考虑通过村民会议或法律途径解决争议。
当地政策影响：
- 农村土地承包和确权政策可能因地区而异，有些地区可能有特定的政策规定关于土地承包和确权的处理方式。
- 因此，你还需要了解当地的相关政策，以确定是否需要归还土地或进行其他处理。
三、法律建议
审查确权文件：
- 首先，你需要仔细审查你的土地承包经营权确权文件，包括承包合同、确权证书等，以确认你的土地承包经营权是否合法有效。
与邻居沟通协商：
- 其次，你可以尝试与邻居进行沟通协商，了解邻居的具体诉求和理由，并尝试达成和解协议。
寻求法律帮助：
- 如果沟通协商无果，或者你对确权程序的合法性存在疑问，你可以咨询专业律师（即我本人，赵丽丽律师，专注于房产纠纷等领域）或当地农业部门，以获取更具体的法律建议和帮助。
考虑法律途径：
- 如果必要，你可以通过法律途径解决争议，比如提起民事诉讼或申请仲裁等。
后续行动建议：在处理此类问题时，建议你保持冷静和理性，避免与邻居发生不必要的冲突。同时，及时咨询专业律师或当地农业部门，以获取更具体的法律建议和帮助。如果你有任何进一步的法律问题或需要更详细的法律咨询，请直接向我提问。