网络爬虫是否违法，不能一概而论，需要分情况讨论：

1. 合法使用网络爬虫的情况：

   • 遵守robots协议：如果网络爬虫的使用者遵守了目标网站的robots协议（即网站根目录下的robots.txt文件，该文件规定了哪些爬虫可以访问网站的哪些部分），并且没有侵犯网站的知识产权或其他合法权益，那么这种使用通常是合法的。例如，搜索引擎的爬虫在遵守robots协议的前提下，对网站进行爬取以提供搜索服务，这是被广泛接受的合法行为。
   • 获得授权：如果网络爬虫的使用者获得了目标网站的明确授权，那么其使用行为也是合法的。这种授权可以是书面的，也可以是口头的，但最好是有书面记录以便在需要时提供证明。

2. 可能违法使用网络爬虫的情况：

   • 违反robots协议：如果网络爬虫的使用者没有遵守目标网站的robots协议，擅自对网站进行爬取，这可能构成对网站运营者权益的侵犯，从而构成违法行为。
   • 侵犯知识产权：如果网络爬虫爬取了目标网站上的受版权保护的内容，如文章、图片、视频等，并且没有获得版权所有者的授权，那么这种行为可能构成侵犯知识产权，是违法的。
   • 非法获取个人信息：如果网络爬虫被用于非法获取、出售或提供公民个人信息，这明显违反了相关法律法规，如《中华人民共和国网络安全法》和《中华人民共和国刑法》中关于侵犯公民个人信息罪的规定。
   • 干扰网站正常运营：如果网络爬虫的使用行为对目标网站的正常运营造成了干扰，如导致网站服务器过载、崩溃等，这也可能构成违法行为。

法律建议：

• 在使用网络爬虫前，务必仔细阅读并遵守目标网站的robots协议。
• 如果需要爬取受版权保护的内容或个人信息，务必获得相关权利人的明确授权。
• 避免使用网络爬虫对目标网站进行过度爬取，以免干扰其正常运营。
• 如果对网络爬虫的使用是否合法存在疑问，建议咨询专业律师以获取具体法律意见。

可能法律后果：

• 如果网络爬虫的使用行为被认定为违法，使用者可能面临民事赔偿、行政处罚甚至刑事责任。具体后果取决于违法行为的性质、情节以及造成的后果等因素。

总之，网络爬虫本身并不违法，但其使用行为必须遵守相关法律法规和道德规范。在使用网络爬虫时，务必谨慎行事，确保自己的行为合法合规。如果你对网络爬虫的使用有任何疑问或需要进一步的法律帮助，请随时向我咨询。