结论：针对您承包乡镇土地后，地上有前承包者种的榛子树，想要回租金的情况，您应主要考虑向谁主张权利，这取决于您与前承包者或乡镇政府（或相关发包方）之间的具体约定和实际情况。以下是从不同角度的详细分析：

1. 若与前承包者有直接约定：

   • 情况分析：如果您在承包土地时，与前承包者就榛子树的处理及租金问题有明确的书面或口头约定，那么您应首先依据该约定来主张权利。例如，如果约定前承包者需在您承包前移除榛子树，或约定您承包后榛子树的收益或租金归属问题，那么您可以直接根据约定向前承包者提出要求。
   • 法律建议：检查并保存好与前承包者的所有约定文件或记录，作为主张权利的依据。如果前承包者未履行约定，您可以考虑通过协商、调解或诉讼等方式来维护自己的权益。

2. 若与乡镇政府（或相关发包方）有承包合同：

   • 情况分析：如果您是与乡镇政府（或相关发包方）签订的承包合同，且合同中未明确提及榛子树的处理及租金问题，那么您可能需要先与乡镇政府（或相关发包方）进行协商。因为乡镇政府（或相关发包方）作为土地的发包方，对土地上的附着物（如榛子树）可能有一定的管理责任或知情权。
   • 法律建议：仔细审查承包合同，看是否有关于土地现状、附着物处理或租金分配的条款。如果没有明确约定，您可以与乡镇政府（或相关发包方）协商，看是否能够达成补充协议或解决方案。如果协商无果，您可能需要考虑通过法律途径来明确双方的权利和义务。

3. 若榛子树影响土地使用且无明确约定：

   • 情况分析：如果榛子树的存在严重影响了您对承包土地的正常使用，且您与前承包者或乡镇政府（或相关发包方）之间没有明确的约定，那么您有权要求移除榛子树或获得相应的补偿。
   • 法律建议：首先尝试与前承包者或乡镇政府（或相关发包方）进行协商，看是否能够达成移除榛子树或补偿的协议。如果协商不成，您可以考虑向当地农村土地承包仲裁委员会申请仲裁，或者向人民法院提起诉讼，要求对方承担相应的责任。

额外建议：

• 在处理此类纠纷时，保持冷静和理性，尽量通过协商和调解来解决争议，以节省时间和成本。
• 如果协商和调解无果，及时寻求法律援助或咨询专业律师，以便更好地维护自己的权益。
• 在整个过程中，注意保存好所有相关的证据和文件，如承包合同、约定记录、照片、视频等，以便在需要时作为主张权利的依据。

如有任何进一步的问题或需要更具体的法律建议，请直接向我咨询。