村委会不能仅因老林地未确权且个人种上树就随意收回。以下是对此问题的详细分析：

一、土地确权的意义与未确权土地的状态

土地确权是对土地所有权、使用权和他项权利的确认、确定。在未确权前，土地的归属等处于一种相对不确定状态。但这并不意味着村委会可以随意收回未确权的土地。

二、村委会收回土地的合法依据与特殊情况

村委会收回土地需要有合法依据，不能仅凭未确权就自行收回。存在一些特殊情况，村委会可能收回土地，但这些情况都有严格的限制和程序要求：

1. 机动地情况：如果该土地属于村集体依法预留的机动地，在符合相关规定程序下，村委会可收回重新分配。
2. 土地荒芜情况：如果土地长期荒芜且村集体有相关规定允许收回的，经过一定程序，村委会也可收回。但这里的“长期荒芜”和“村集体相关规定”都需要有明确的界定和证据支持。
3. 违反合同情况：若土地使用者违反土地承包合同约定，严重损害村集体利益等情况，经法定程序，村委会也可收回土地。这同样需要明确的合同条款和证据支持。

三、村委会收回土地必须遵循的法定程序

即使存在上述特殊情况，村委会收回土地也必须遵循法定程序：

1. 召开会议：要召开村民会议或者村民代表会议，经三分之二以上成员或者三分之二以上村民代表同意。
2. 提前通知：需提前通知土地使用者，告知收回原因和依据等事项。
3. 记录留存：收回过程要做好记录，留存相关证据，确保程序合法合规。

四、针对您情况的具体建议

1. 核实土地性质：首先，您需要核实该老林地的性质，是否属于村集体依法预留的机动地或其他可以收回的情况。
2. 检查合同条款：其次，检查您与村委会之间的土地使用合同或协议，看是否有违反合同约定的情况。
3. 保留证据：同时，保留好您在该土地上种树的相关证据，如照片、视频、证人证言等，以备不时之需。
4. 寻求法律帮助：如果村委会试图非法收回土地，您可以寻求法律帮助，通过法律途径维护自己的合法权益。