结论：村集体能否硬要回土地需分情况讨论，主要取决于开荒地的性质以及您开荒种树行为的合法性，以下为具体分析：
若开荒地属于未确定使用权的国有荒地
- 法律依据：根据《中华人民共和国土地管理法》第四十条规定，开发未确定使用权的国有荒山、荒地、荒滩从事种植业、林业、畜牧业、渔业生产的，经县级以上人民政府依法批准，可以确定给开发单位或者个人长期使用。
- 情况分析：如果您开荒的土地属于未确定使用权的国有荒地，并且您已经按照法定程序，经过县级以上人民政府依法批准取得了该土地的长期使用权，那么村集体无权硬要回土地。您对该土地享有合法的使用权益，村集体若要收回，需要经过法定程序并与您协商一致，给予您相应的补偿。
- 若未依法批准：如果您没有经过法定程序获得批准，虽然您已经种植了二十年的树，但您的开荒行为可能属于非法占用土地。在这种情况下，村集体或者相关政府部门有权要求您停止非法占用行为，收回土地。不过，考虑到您已经种植了二十年的树，可能会根据实际情况，给予您一定的补偿或者要求您对树木进行合理处置。
若开荒地属于村集体所有的荒地
- 法律依据：根据《中华人民共和国土地管理法》第九条规定，农村和城市郊区的土地，除由法律规定属于国家所有的以外，属于农民集体所有；宅基地和自留地、自留山，也属于农民集体所有。第十一条规定，农民集体所有的土地依法属于村农民集体所有的，由村集体经济组织或者村民委员会经营、管理。
- 情况分析：如果开荒地属于村集体所有，您开荒种树的行为需要经过村集体的同意或者符合村集体的相关规定。如果您事先得到了村集体的同意，并且签订了相关的土地使用协议，明确了土地使用的期限、权利义务等内容，那么在协议有效期内，村集体不能硬要回土地。如果协议到期，村集体有权根据协议约定收回土地或者与您协商续签协议。
- 若未经同意开荒：如果您未经村集体同意，擅自开荒种树，那么您的行为可能侵犯了村集体的土地所有权。在这种情况下，村集体有权要求您停止侵权行为，收回土地。不过，同样考虑到您已经种植了二十年的树，村集体可能会与您协商，给予您一定的补偿或者要求您对树木进行合理处置。