关于网上爬虫是否违法的问题，不能一概而论，需要分情况讨论：

1. 合法使用爬虫的情况：

   • 获得授权：如果你在使用爬虫技术前，已经获得了目标网站或数据所有者的明确授权，那么你的行为就是合法的。这通常涉及到签订数据使用协议或获得书面许可。
   • 公开数据且不违反robots协议：对于一些公开可访问的数据，如果目标网站没有设置robots协议（即网站根目录下的robots.txt文件，用于告知搜索引擎哪些页面可以抓取，哪些不可以）或者robots协议允许抓取，且你的抓取行为没有给目标网站带来负担或损害，那么这种行为通常也是合法的。
   • 个人学习与研究：在个人学习、研究或欣赏的范围内，使用爬虫技术获取少量数据，且不以盈利为目的，通常也不会被视为违法。但需要注意的是，这种行为仍需谨慎，避免侵犯他人的知识产权或隐私权。

2. 可能违法使用爬虫的情况：

   • 未经授权抓取数据：如果你未经目标网站或数据所有者的授权，擅自使用爬虫技术抓取其数据，这可能构成侵犯他人财产权或知识产权的行为，是违法的。
   • 违反robots协议：即使数据是公开的，但如果目标网站设置了robots协议禁止抓取，而你仍然使用爬虫技术进行抓取，这也可能构成违法行为。因为robots协议是网站所有者对其网站数据抓取行为的一种明确限制。
   • 抓取敏感信息或大量数据：如果你使用爬虫技术抓取的是他人的敏感信息（如个人隐私、商业秘密等）或大量数据，且没有获得合法授权，这可能构成侵犯他人隐私权、商业秘密权或构成不正当竞争等违法行为。
   • 干扰网站正常运行：如果你的爬虫行为给目标网站带来了过大的负担或干扰了其正常运行（如导致网站崩溃、服务中断等），这也可能构成违法行为。因为这种行为可能损害了网站所有者的合法权益。

法律建议：

• 在使用爬虫技术前，务必了解并遵守相关法律法规和目标网站的robots协议。
• 如果需要抓取大量数据或敏感信息，务必获得目标网站或数据所有者的明确授权。
• 在使用爬虫技术时，应确保你的行为不会给目标网站带来负担或损害，也不会侵犯他人的合法权益。

可能后果：

• 如果你的爬虫行为被认定为违法，你可能需要承担民事责任（如赔偿损失）、行政责任（如罚款、没收违法所得等）甚至刑事责任（如构成犯罪时）。

如果你对网上爬虫的使用有任何疑问或需要进一步的法律帮助，请直接向我咨询。我会根据你的具体情况，为你提供专业的法律意见和帮助。