公司使用爬虫技术是否违法，不能一概而论，而是需要根据具体情况来判断。以下是从不同角度对这一问题的详细分析：

1. 合法爬虫的情况：

   • 遵守robots协议：如果公司开发的爬虫程序严格遵守目标网站的robots协议（即网站所有者设置的爬虫访问规则），并且仅用于合法、正当的目的，如数据收集、市场调研等，那么这种爬虫行为通常是合法的。
   • 不侵犯隐私和知识产权：爬虫在抓取数据时，应确保不侵犯他人的隐私权和知识产权。例如，不抓取用户的个人信息、不复制受版权保护的内容等。
   • 不干扰网站正常运行：爬虫程序应设计得合理，避免对目标网站造成过大的访问压力，从而干扰其正常运行。这包括控制爬取频率、设置合理的爬取时间等。

2. 违法爬虫的情况：

   • 违反robots协议：如果公司开发的爬虫程序无视目标网站的robots协议，强行抓取数据，这可能构成对网站所有者权益的侵犯，从而违法。
   • 侵犯隐私和知识产权：如果爬虫在抓取数据过程中，未经授权获取了用户的个人信息或复制了受版权保护的内容，这将构成对隐私权和知识产权的侵犯，是违法的。
   • 构成不正当竞争：如果公司通过爬虫技术获取竞争对手的商业秘密或敏感信息，用于不正当竞争目的，如恶意降价、抄袭产品等，这也将构成违法。
   • 违反网络安全法规：如果爬虫程序被用于非法侵入计算机信息系统、窃取数据或进行其他网络攻击行为，这将严重违反网络安全法规，构成犯罪。

法律建议：

• 合规性审查：公司在开发和使用爬虫技术前，应进行合规性审查，确保爬虫程序的设计和使用符合相关法律法规和道德规范。
• 尊重robots协议：严格遵守目标网站的robots协议，避免未经授权的抓取行为。
• 保护隐私和知识产权：在抓取数据时，应确保不侵犯他人的隐私权和知识产权，避免法律风险。
• 避免不正当竞争：不得利用爬虫技术获取竞争对手的商业秘密或敏感信息，用于不正当竞争目的。
• 加强网络安全管理：确保爬虫程序的安全性，防止被用于非法侵入计算机信息系统或进行其他网络攻击行为。

可能后果：

• 如果公司的爬虫行为被认定为违法，可能面临法律制裁，包括罚款、赔偿损失等。
• 违法爬虫行为还可能损害公司的声誉和信誉，影响公司的长期发展。

因此，公司在使用爬虫技术时，应谨慎行事，确保合规性，避免法律风险。如有任何疑问或需要进一步的法律咨询，请直接向我提问。