网页爬虫在符合法律法规、不侵犯他人合法权益且遵守网站规则的前提下使用才合法。具体来说，需从以下几个角度确保合法性：

1. 遵守《中华人民共和国网络安全法》等相关法律法规

   • 爬虫不得用于非法获取、出售或提供公民个人信息（《网络安全法》第44条）。
     
   • 避免通过爬虫实施网络攻击、干扰网站正常运行或破坏计算机信息系统（《刑法》第285、286条）。
     
   • 若爬取数据涉及国家秘密、商业秘密或个人隐私，需严格保密并依法使用。

2. 尊重目标网站的合法权益

   • 遵守robots协议：多数网站通过robots.txt文件声明禁止爬取的页面或目录，需优先遵守。
     
   • 避免过度请求：高频爬取可能导致服务器瘫痪，可能构成《反不正当竞争法》第12条规定的“妨碍、破坏其他经营者合法提供的网络产品或服务正常运行”的行为。
     
   • 不绕过技术措施：若网站通过验证码、IP封禁、登录验证等方式限制访问，强行绕过可能违反《计算机信息系统安全保护条例》或《刑法》相关规定。

3. 明确数据使用边界

   • 数据来源合法性：确保爬取的数据本身不侵犯他人著作权、商标权等知识产权（如爬取受版权保护的文章、图片后未经授权使用）。
     
   • 数据用途合法性：不得将爬取的数据用于诈骗、诽谤、商业诋毁等违法活动。
     
   • 用户授权：若爬取的数据包含用户个人信息（如姓名、联系方式），需取得用户明确授权或符合《个人信息保护法》规定的合法性基础（如“告知-同意”规则）。

4. 特殊场景的合规要求

   • 公共数据：若爬取的是政府公开信息、已进入公共领域的数据，通常合法性风险较低，但仍需注意数据二次使用的合规性。
     
   • 竞品数据：爬取竞争对手网站数据用于商业分析可能涉及不正当竞争，需谨慎评估是否违反《反不正当竞争法》第11条（禁止“搭便车”行为）。
     
   • 跨境数据传输：若爬取的数据涉及跨境传输，需遵守《数据安全法》《个人信息保护法》关于数据出境的规定。

建议：

• 使用爬虫前，先分析目标网站的robots.txt文件、服务条款及隐私政策。
  
• 控制爬取频率，避免对网站造成实质性损害。
  
• 对爬取的数据进行脱敏处理，尤其是涉及个人信息的场景。
  
• 保留爬取行为的合法性证据（如授权文件、数据来源说明），以备争议时使用。
  

如有具体场景或纠纷，可直接向我咨询，我会结合案例和司法实践进一步分析。