结论：关于您与村委会20年前签订的林地承包协议，20年后村民说无效，但您已持有林权证的情况下，林木的归属问题需分情况讨论。一般来说，若承包协议有效且林权证合法取得，林木应归您所有；若承包协议被认定无效，则需根据无效原因及实际情况判断林木归属。
分析说明：
承包协议的有效性：
- 若协议有效：根据《中华人民共和国农村土地承包法》及相关规定，承包方依法享有承包地使用、收益和土地承包经营权流转的权利，有权自主组织生产经营和处置产品。您与村委会签订的林地承包协议，若当时符合法定程序，双方意思表示真实，且内容不违反法律、行政法规的强制性规定，应认定为有效。在此情况下，您基于有效的承包协议取得的林权证，是林木所有权的合法凭证，林木应归您所有。
- 若协议无效：如果承包协议因违反法律、行政法规的强制性规定（如未经法定程序发包、发包方非林地所有权人等）或存在其他无效情形（如欺诈、胁迫等）被认定无效，那么基于该无效协议取得的林权证也可能面临被撤销或无效的风险。此时，林木的归属需根据无效原因及实际情况，如双方过错程度、林木的实际投入和管理情况等，由法院或相关行政部门进行裁决。
林权证的效力：
- 林权证是确认森林、林木和林地所有权或使用权的法律凭证。如果您已合法取得林权证，且该证书未被依法撤销或宣告无效，那么它就是您享有林木所有权的直接证据。
- 然而，如果承包协议被认定无效，且该无效与林权证的取得有直接关联（如基于无效协议取得的林权证），那么林权证的效力也可能受到影响。
村民的主张及应对：
- 村民主张承包协议无效，可能基于多种原因，如认为发包程序不合法、承包费过低损害集体利益等。您需要仔细审查承包协议的签订过程及内容，确认是否存在村民所主张的无效情形。
- 如果村民的主张缺乏法律依据或证据支持，您可以拒绝承认协议无效，并坚持自己的林木所有权。如果村民的主张有一定道理，或者您希望避免长期纠纷，也可以考虑与村委会和村民进行协商，寻求妥善解决方案。
行动建议：
- 收集证据：收集并整理与承包协议签订、履行相关的所有证据，包括协议文本、发包程序文件、承包费缴纳凭证、林权证等。
- 咨询专业意见：由于林木归属问题涉及复杂的法律关系和事实认定，建议您咨询专业律师，以便更准确地评估协议效力、林权证效力及林木归属问题。
- 协商或诉讼：根据咨询结果和实际情况，您可以选择与村委会和村民进行协商，寻求和解；或者如果协商无果，您可以考虑通过法律途径维护自己的合法权益。
后续思考：
- 在处理此类纠纷时，除了关注法律条款和证据外，还需要考虑当地的风俗习惯、村民关系等社会因素，以便更全面地评估纠纷的可能走向和解决方案。
- 如果您希望避免未来类似纠纷的发生，可以在签订承包协议时更加谨慎地审查协议条款和发包程序，确保协议的合法性和有效性。同时，也可以考虑在协议中约定纠纷解决方式，如仲裁或诉讼等，以便在纠纷发生时能够迅速有效地解决问题。
如有其他疑问或需要进一步的法律帮助，请直接向我咨询。