结论：即使已经签订了协议书，若对方毁坏您林木的行为构成违约或侵权，您仍然可以依法追责。具体能否追责及追责方式，需结合协议书内容、毁坏行为性质及法律规定综合判断。以下从不同角度为您详细分析：
一、协议书内容对追责的影响
协议书明确约定违约责任：若协议书中明确约定了对方毁坏林木应承担的违约责任（如赔偿损失、支付违约金等），且该约定不违反法律、行政法规的强制性规定，那么您可以直接依据协议书要求对方承担违约责任。
协议书未约定或约定不明：若协议书中未约定违约责任或约定不明，您仍可依据《中华人民共和国民法典》中关于合同违约责任的一般规定，要求对方承担因毁坏林木给您造成的损失。此时，您需要证明对方的行为构成违约，并证明您因此遭受了实际损失。
二、毁坏行为性质对追责的影响
构成违约：若对方毁坏林木的行为违反了协议书中的约定，即构成违约。您可以直接依据协议书或法律规定要求对方承担违约责任。
构成侵权：若对方毁坏林木的行为不仅违反了协议书，还侵犯了您的财产权（如林木所有权），那么您还可以依据《中华人民共和国民法典》中关于侵权责任的规定，要求对方承担侵权责任。此时，您需要证明对方的行为构成侵权，并证明您因此遭受了实际损失。
三、追责的具体方式
协商：您可以先尝试与对方进行协商，要求对方按照协议书或法律规定承担责任。协商过程中，您可以保留好相关证据（如协议书、毁坏林木的照片、视频等），以便在协商不成时依法维权。
调解：若协商不成，您可以考虑向当地的人民调解委员会或相关行业调解组织申请调解。调解是一种非诉讼的纠纷解决方式，具有灵活、快捷、成本低等优点。
诉讼：若调解不成或您不愿意调解，您可以直接向人民法院提起诉讼，要求对方承担违约责任或侵权责任。在诉讼过程中，您需要提交相关证据证明对方的行为构成违约或侵权，并证明您因此遭受了实际损失。法院将根据事实和法律规定作出判决，要求对方承担相应的法律责任。
四、注意事项
保留证据：无论采取哪种追责方式，您都需要保留好相关证据，以便在需要时证明对方的行为构成违约或侵权，并证明您因此遭受了实际损失。
及时行动：若您发现对方有毁坏林木的行为，应及时采取行动，避免损失扩大。同时，也要注意在法律规定的诉讼时效期间内提起诉讼或申请仲裁，以免丧失追责的权利。
咨询专业律师：在追责过程中，若您遇到法律难题或不确定如何操作，建议及时咨询专业律师。律师可以根据您的具体情况提供法律意见和帮助，确保您的权益得到有效维护。
最后，若您在追责过程中遇到任何问题或需要进一步的法律帮助，请随时向我咨询。我会根据您的具体情况提供详细的法律意见和帮助。