Spacy：工业实力NLP

Spacy是一个图书馆，用于高级自然语言处理在Python和Cython中。它建立在最新的研究基础上，从第一天起就被设计用于真正的产品中

Spacy伴随着pretrained pipelines，并且当前支持标记化和培训60多种语言它的特点是最先进的速度和神经网络模型用于标记、解析命名实体识别，文本分类更重要的是，通过预先培训实现多任务学习变形金刚像伯特一样，也是一个随时准备生产的training system以及轻松的模型打包、部署和工作流管理。Spacy是在麻省理工学院许可下发布的商业开源软件

💫现在发布3.0版！
Check out the release notes here.

📖文档

💬在哪里提问？

Spacy项目由@honnibal，@ines，@svlandeg，@adrianeboyd和@polm请理解，我们将不能通过电子邮件提供个人支持。我们还相信，如果帮助被公开分享，那么它就更有价值，这样更多的人就可以从中受益

功能

• 支持60多种语言
• 训练有素的管道对于不同的语言和任务
• 带预训练的多任务学习变形金刚像伯特一样
• 对预训人员的支持词向量和嵌入
• 最先进的速度
• 生产准备就绪培训系统
• 语言动机标记化
• 命名的组件实体识别词性标注、依存关系分析、句子切分文本分类、词汇化、词法分析、实体链接等
• 通过以下功能轻松扩展自定义组件和属性
• 支持中的自定义模型PyTorch，TensorFlow和其他框架
• 内置可视化工具对于语法和NER
• 简单易懂模型包装、部署和工作流管理
• 稳健、经过严格评估的准确性

📖有关更多详细信息，请参阅facts, figures and benchmarks

⏳安装空间

有关详细的安装说明，请参阅documentation

• 操作系统：MacOS/OS X·Linux·Windows(Cygwin、MinGW、Visual Studio)
• Python版本：Python 3.6+(仅64位)
• 包管理器：pip·conda(通过conda-forge)

管道

使用pip，spacy发行版以源码包和二进制轮子的形式可用。在安装Spacy及其依赖项之前，请确保您的pip，setuptools和wheel是最新的

pip install -U pip setuptools wheel
pip install spacy

要安装额外的数据表以进行列举化和规范化，可以运行pip install spacy[lookups]或安装spacy-lookups-data分开的。使用列举化数据创建空白模型需要使用查找包，并需要使用尚未附带预先训练的模型和第三方库支持的语言进行词汇化

使用pip时，一般建议在虚拟环境中安装包，避免修改系统状态：

python -m venv .env
source .env/bin/activate
pip install -U pip setuptools wheel
pip install spacy

孔达

您也可以从安装Spacyconda通过conda-forge频道。有关原料(包括构建配方和配置)，请查看this repository

conda install -c conda-forge spacy

更新空间

Spacy的一些更新可能需要下载新的统计模型。如果您运行的是spacy v2.0或更高版本，则可以使用validate命令检查您安装的型号是否兼容，如果不兼容，则打印有关如何更新它们的详细信息：

pip install -U spacy
python -m spacy validate

如果您训练过自己的模型，请记住您的训练和运行时输入必须匹配。更新Spacy后，我们建议重新培训您的模型使用新版本

📖有关从spacy 2.x升级到spacy 3.x的详细信息，请参阅migration guide

📦下载模型包

经过培训的空间管道可以安装为Python包这意味着它们是应用程序的一个组件，就像任何其他模块一样。可以使用Spacy的安装模型download命令，或通过将pip指向路径或URL手动执行

# Download best-matching version of specific model for your spaCy installation
python -m spacy download en_core_web_sm

# pip install .tar.gz archive or .whl from path or URL
pip install /Users/you/en_core_web_sm-3.0.0.tar.gz
pip install /Users/you/en_core_web_sm-3.0.0-py3-none-any.whl
pip install https://github.com/explosion/spacy-models/releases/download/en_core_web_sm-3.0.0/en_core_web_sm-3.0.0.tar.gz

加载和使用模型

要加载模型，请使用spacy.load()使用模型名称或模型数据目录的路径

import spacy nlp = spacy.load("en_core_web_sm")
doc = nlp("This is a sentence.")

您还可以import直接通过其全名创建模型，然后调用其load()不带参数的方法

import spacy import en_core_web_sm nlp = en_core_web_sm.load()
doc = nlp("This is a sentence.")

📖有关更多信息和示例，请查看models documentation

⚒从源代码编译

安装Spacy的另一种方法是克隆其GitHub repository并从源头上建造它。如果您想要更改代码库，这是常用的方法。您需要确保您有一个由Python发行版组成的开发环境，其中包括头文件、编译器pip，virtualenv和git已安装。编译器部分是最棘手的。如何做到这一点取决于您的系统

有关更多详细信息和说明，请参阅上的文档compiling spaCy from source以及quickstart widget获取适合您的平台和Python版本的正确命令

git clone https://github.com/explosion/spaCy
cd spaCy

python -m venv .env
source .env/bin/activate

# make sure you are using the latest pip
python -m pip install -U pip setuptools wheel

pip install -r requirements.txt
pip install --no-build-isolation --editable .

要与附加软件一起安装，请执行以下操作：

pip install --no-build-isolation --editable .[lookups,cuda102]

🚦运行测试

Spacy伴随着一个extensive test suite为了运行测试，您通常需要克隆存储库并从源代码构建空间。这还将安装在中定义的所需开发依赖项和测试实用程序requirements.txt

或者，您可以运行pytest在已安装的spacy包裹。别忘了也要通过Spacy的安装测试实用程序requirements.txt：

pip install -r requirements.txt
python -m pytest --pyargs spacy