FoolNLTK — 作者号称“可能不是最快的开源中文分词，但很可能是最准的开源中文分词”。
这个开源工具包基于BiLSTM模型训练而成，功能包含分词，词性标注，实体识别。并支持用户自定义词典，可训练自己的模型及批量处理文本。
1.准备
开始之前，你要确保Python和pip已经成功安装在电脑上，如果没有，请访问这篇文章：超详细Python安装指南 进行安装。
(可选1) 如果你用Python的目的是数据分析，可以直接安装Anaconda：Python数据分析与挖掘好帮手—Anaconda，它内置了Python和pip.
(可选2) 此外，推荐大家用VSCode编辑器来编写小型Python项目：Python 编程的最好搭档—VSCode 详细指南
Windows环境下打开Cmd(开始—运行—CMD)，苹果系统环境下请打开Terminal(command+空格输入Terminal)，输入命令安装依赖：
pip install foolnltk2.使用说明
2.1 分词功能
通过 fool.cut 函数，能够实现分词功能：
import fooltext = "一个傻子在北京"print(fool.cut(text))# ['一个', '傻子', '在', '北京']命令行针对文件进行分词操作：
python -m fool [filename]2.2 用户自定义词典
词典格式格式如下，词的权重越高，词的长度越长就越越可能出现，权重值请大于1：
难受香菇 10什么鬼 10分词工具 10北京 10北京天安门 10加载词典：
import foolfool.load_userdict(path) # path 为词典路径text = ["我在北京天安门看你难受香菇", "我在北京晒太阳你在非洲看雪"]print(fool.cut(text))#[['我', '在', '北京', '天安门', '看', '你', '难受', '香菇'],# ['我', '在', '北京', '晒太阳', '你', '在', '非洲', '看', '雪']]删除词典：
fool.delete_userdict();2.3 词性标注
词性标注只需要使用 pos_cut 函数，生成的数组结果中，第一个维度是对应字符串的识别结果。第二个维度是分词后的每个词语及对应的词性。
import fooltext = ["一个傻子在北京"]print(fool.pos_cut(text))#[[('一个', 'm'), ('傻子', 'n'), ('在', 'p'), ('北京', 'ns')]]2.4 实体识别
实体识别的结果元素中，第一二个元素是关键词的起始坐标和结束坐标，第三个元素是实体类别，最后一个元素是实体关键词。
import fool text = ["一个傻子在北京","你好啊"]words, ners = fool.analysis(text)print(ners)#[[(5, 8, 'location', '北京')]]3.定制自己的模型
你可以在 linux 的 Python3 环境定制自己的模型。
git clone https://github.com/rockyzhengwu/FoolNLTK.gitcd FoolNLTK/train1.训练。模型训练 data_dir 存放训练数据格式如 datasets/demo 下。下载与训练的模型,我这里是将下载的模型软链接到 pretrainmodel 下
python ./train_bert_ner.py --data_dir=data/bid_train_data \ --bert_config_file=./pretrainmodel/bert_config.json \ --init_checkpoint=./pretrainmodel/bert_model.ckpt \ --vocab_file=./pretrainmodel/vocab.txt \ --output_dir=./output/all_bid_result_dir/ --do_train2.导出模型。模型导出 predict 同时指定 do_export 就能导出 pb 格式的模型，用于部署:
python ./train_bert_ner.py --data_dir=data/bid_train_data \ --bert_config_file=./pretrainmodel/bert_config.json \ --init_checkpoint=./pretrainmodel/bert_model.ckpt \ --vocab_file=vocab.txt \ --output_dir=./output/all_bid_result_dir/ --do_predict --do_export3.预测。在 bert_predict.py 中指定下面三个参数就能加载训练好的模型完成预测:
VOCAB_FILE = './pretrainmodel/vocab.txt'LABEL_FILE = './output/label2id.pkl'EXPORT_PATH = './export_models/1581318324'如果你有兴趣构建自己的模型，并且还有一些构建的疑惑，你可以在这里看到详细的说明文档：
https://github.com/rockyzhengwu/FoolNLTK/blob/master/train/README.md
我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。
有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。
原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！
Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典
评论(0)