结论：开荒的土地被确权到别村，对方是否会要回去不能一概而论，需要分情况讨论，主要取决于开荒土地的权属依据、开荒行为的合法性以及确权的具体情况等因素。以下是具体分析：

1. 如果开荒的土地原本就属于别村集体所有，且你的开荒行为未获得合法授权
   • 权属依据：土地所有权归别村集体，这是基于法律规定的明确权属。在我国，农村土地除法律规定属于国家所有的以外，属于农民集体所有。如果该土地在确权前就明确属于别村集体，那么其所有权归别村集体所有。
   • 开荒行为合法性：你的开荒行为没有经过合法的程序，比如没有与土地所有权人（别村集体）签订承包合同或者获得其许可，那么这种开荒行为可能被认定为非法占用土地。
   • 确权情况：既然土地已经被确权到别村，这表明从法律层面认可了别村对该土地的所有权。在这种情况下，别村有权要求你归还土地，并且你可能需要承担相应的法律责任，比如恢复土地原状等。
2. 如果开荒的土地原本权属存在争议，但最终确权到别村，而你认为确权有误
   • 权属依据：在土地权属存在争议的情况下，确权是一个复杂的法律程序，需要综合考虑历史沿革、实际使用情况、相关证据等多方面因素。如果最终确权到别村，但你认为有充分的证据表明该土地应该归你或者你所在的集体所有，比如有长期的使用证明、历史上的分配文件等。
   • 开荒行为合法性：假设你的开荒行为是基于一定的历史原因或者当地的习惯，并且在一定程度上得到了当地村民或者相关部门的默认，那么你的开荒行为可能具有一定的合理性。
   • 确权情况：你可以在收到确权决定之日起的一定期限内（一般为60日），向上一级人民政府申请行政复议，或者在收到确权决定之日起的六个月内，向人民法院提起行政诉讼，要求撤销错误的确权决定，重新确定土地的权属。
3. 如果开荒的土地原本属于无主地或者荒地，但别村通过合法程序确权
   • 权属依据：在我国，无主地或者荒地一般属于国家所有或者集体所有。如果别村通过合法的申请、审批等程序获得了该土地的所有权或者使用权，并且完成了确权登记。
   • 开荒行为合法性：即使你率先进行了开荒，但如果你的开荒行为没有依法获得相应的土地权利，那么在别村合法确权后，你可能需要尊重确权结果。
   • 确权情况：别村有权要求你归还土地。不过，考虑到你进行了开荒投入，可能可以与别村协商，要求其给予一定的补偿，比如开荒的成本、土地改良的费用等。如果协商不成，你可以通过法律途径解决争议，但需要提供充分的证据证明你的投入情况。