标签归档:crawling

Scrapy-SCRAPPY,一种用于Python的快速高级Web抓取框架

概述

SCRAPPY是一个快速的高级Web爬行和Web抓取框架,用于爬行网站并从其页面中提取结构化数据。它可以用于广泛的目的,从数据挖掘到监控和自动化测试

Scrrapy由Zyte(前身为ScrapingHub)和many other
contributors

请查看Scrapy主页,网址为https://scrapy.org有关详细信息,包括功能列表

要求

  • Python 3.6+
  • 可在Linux、Windows、MacOS、BSD上运行

安装

快捷方式:

pip install scrapy

请参阅文档中的安装部分,网址为https://docs.scrapy.org/en/latest/intro/install.html有关更多详细信息,请参阅

文档

文档在线提供,网址为https://docs.scrapy.org/而在docs目录

发布版本

你可以查一下https://docs.scrapy.org/en/latest/news.html有关发行说明,请参阅

社区(博客、Twitter、邮件列表、IRC)

看见https://scrapy.org/community/有关详细信息,请参阅

贡献

看见https://docs.scrapy.org/en/master/contributing.html有关详细信息,请参阅

行为规范

请注意,此项目随贡献者行为准则一起发布(请参阅https://github.com/scrapy/scrapy/blob/master/CODE_OF_CONDUCT.md)

通过参与此项目,您同意遵守其条款。请将不可接受的行为报告给opensource@zyte.com

使用Scrapy的公司

看见https://scrapy.org/companies/查看列表

商业支持

看见https://scrapy.org/support/有关详细信息,请参阅