结论：政府栽界石后，侵权方将其拔掉的行为是否违法，需根据具体情况判断，一般可能涉及违法，甚至可能构成犯罪。
分析如下：
界石的法律性质：
- 界石通常是政府或相关部门为了明确土地权属、界限等而设置的标志物，具有一定的法律意义。它代表了政府对土地权属或界限的认定，是土地管理中的重要依据。
拔掉界石的行为性质：
- 如果界石是政府依法设置的，且拔掉界石的行为未经政府或相关部门许可，那么该行为很可能构成对政府行政行为的破坏或干扰，违反了相关法律法规。
- 具体来说，如果拔掉界石是为了非法占用土地、改变土地用途或进行其他违法活动，那么该行为不仅违法，还可能构成犯罪，如非法占用农用地罪、破坏界桩罪等。
可能的法律后果：
- 行政处罚：根据《中华人民共和国土地管理法》等相关法律法规，对于破坏土地管理标志、非法占用土地等行为，政府或相关部门可以给予行政处罚，如罚款、没收违法所得、责令恢复原状等。
- 刑事责任：如果拔掉界石的行为情节严重，构成犯罪的，将依法追究刑事责任。例如，非法占用农用地罪，根据《中华人民共和国刑法》第三百四十二条的规定，可处五年以下有期徒刑或者拘役，并处或者单处罚金。
特殊情况考虑：
- 如果界石设置本身存在错误或争议，且侵权方有充分证据证明这一点，那么拔掉界石的行为可能有一定的合理性。但即便如此，也应通过合法途径解决争议，如向政府或相关部门提出异议、申请复议或提起诉讼等，而不是擅自拔掉界石。
建议：
- 如果您是侵权方，且认为界石设置存在问题或争议，建议通过合法途径解决，避免擅自拔掉界石而引发法律纠纷。
- 如果您是政府或相关部门，且发现界石被擅自拔掉，建议及时调查处理，依法追究相关责任人的法律责任，以维护土地管理的秩序和权威。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我会根据您的具体情况提供详细的法律建议。