结论：是否违法需分情况讨论，关键在于土地权属归属及您拔树行为的合理性。以下从不同角度为您详细分析：

一、若土地权属明确归您家所有，且对方未经许可种树

1. 对方行为性质：对方未经您家同意，在您家土地上种树，构成对土地使用权的侵害，属于侵权行为。根据《民法典》相关规定，您家有权要求对方停止侵害、排除妨碍、恢复原状，甚至赔偿损失。
2. 您拔树行为的合法性：在对方拒绝自行移除树木的情况下，您家采取拔树行为以恢复土地原状，属于自力救济的范畴。但需注意，自力救济应控制在必要限度内，避免造成对方不必要的损失。若拔树过程中未损坏对方其他财产，且树木价值不高，通常不构成违法。
3. 建议：尽管您家有权采取自力救济，但为避免纠纷升级，建议先通过协商、调解或向村委会、乡镇政府等部门反映情况，寻求妥善解决方案。若对方仍不配合，再考虑采取拔树等自力救济措施，并保留好相关证据（如土地权属证明、对方种树的照片或视频等）。

二、若土地权属存在争议，或您家无法证明土地归己所有

1. 对方行为性质：在土地权属不明的情况下，对方种树行为可能不构成直接侵权，但可能引发土地权属纠纷。
2. 您拔树行为的合法性：若您家在无法证明土地权属的情况下擅自拔树，可能被视为对对方财产权的侵害，构成违法行为。对方有权要求您家赔偿损失，甚至可能通过法律途径追究您的责任。
3. 建议：在土地权属存在争议的情况下，应先通过协商、调解或向相关部门申请确权等方式解决土地权属问题。在权属明确之前，避免采取可能激化矛盾的行为，如擅自拔树等。

三、若您拔树过程中造成对方其他损失

1. 法律责任：无论土地权属如何，若您在拔树过程中造成对方其他财产损失（如损坏对方其他作物、设施等），您家需承担相应的赔偿责任。
2. 建议：在拔树前，应仔细评估可能造成的损失，并尽量采取措施避免或减少损失。若确实造成损失，应主动与对方协商赔偿事宜，以化解矛盾。

总结与提醒：在处理此类纠纷时，务必保持冷静和理性，避免采取过激行为。若无法自行解决纠纷，可寻求专业律师的帮助，通过法律途径维护自身权益。同时，建议您家尽快办理土地权属证明，以明确土地归属，减少未来可能发生的纠纷。如有其他疑问或需要进一步的法律帮助，请随时向我咨询。