分类目录归档：github

github、Python 办公

整理的关于 pip 的 15 个使用小技巧

2021年5月1日 Python实用宝典

本文转载自公众号【 Python大数据分析】

认识pip

众所周知，pip可以对python的第三方库进行安装、更新、卸载等操作，十分方便。

pip的全称：package installer for python，也就是Python包管理工具。

可能有些人用了很久pip，但还不清楚包管理工具是个啥。

我们先从Python这门语言说起，Python之所以受欢迎不光是因为它简单易学，更重要的是它有成千上万的宝藏库。

这些库相当于是已经集成好的工具，只要安装就能在Python里使用。它们可以处理各式各样的问题，无需你再造轮子，而且随着社区的不断更新维护，有些库越来越强大，几乎能媲美企业级应用。

那么这些工具库怎么下载安装呢？它们被放在一个统一的“仓库”里，名叫PyPi（Python Package Index），所有的库安装都是从这里调度。

有了仓库之后，还需要有管理员，pip就是这样一个角色。pip把库从PyPi取出来，然后安装到Python里，还可以管理安装好的库，比如更新、查看、搜索、卸载等等。

总的来说，pip的Python第三方库的大管家，搞懂它，会让你省很多事。

下面总结了30个pip使用过程中的常识和技巧，供大家参考。

「注：因为pip是一个命令行程序，所以pip一般都在命令行中执行各种操作」

1、安装pip

从Python 3.4开始，pip已经内置在Python中，所以无需再次安装。

如果你的Python版本没有pip，那可以使用下面两种方法安装。

(1) 命令行中输入easy_install pip，非常快捷

(2) 在下面网址中下载pip安装文件，然后解压到python scripts目录中，执行python setup.py install安装即可

下载网址：https://pypi.org/project/pip/#files

下载文件：

2、查看pip版本

pip --version

3、升级pip

如果pip的版本太低，可以升级当前版本
pip install --upgrade pip

4、获取帮助

想了解如何使用pip，以及pip有哪些功能，执行下面语句可以获取详细教程:
pip help

5、安装库

使用pip安装第三方库，执行下面语句
pip install package_name

指定package版本：
pip install package_name==1.1.2

比如说，我要安装3.4.1版本的matplotlib
pip install matplotlib==3.4.1

6、批量安装库

如果一个项目需要安装很多库，那可以批量安装：
pip install -r e:\\requirements.txt

requirements.txt文件内容格式如下：

7、使用wheel文件安装库

这种方法适合离线安装，wheel文件是库的源文件，可以下载后放到本地安装。

步骤如下：

(1) 在下面网站里找相应库的.whl文件
https://www.lfd.uci.edu/~gohlke/pythonlibs/

(2) 下载.whl文件，注意对应的版本

(3) 在.whl所在文件夹内，按Shift键+鼠标右键，打开CMD窗口或者PowerShell

(4) 输入命令：
pip install matplotlib‑3.4.1‑cp39‑cp39‑win_amd64.whl
即可完成安装

8、卸载库

安装好的库可以再卸载：
pip uninstall package_name

9、升级库

对当前库进行版本升级:
pip install --upgrade package_name

10、查看库信息

pip show -f package_name

11、查看已安装的库

列出所有已安装的第三方库和对应版本
pip list

12、将库列表保存到指定文件中

把已经安装的库信息保存到到本地txt文件中：
pip freeze > requirements.txt

13、查看需要升级的库

目前已经安装的库中，看哪些需要版本升级
pip list -o

14、检查兼容问题

验证已安装的库是否有兼容依赖问题
pip check package-name

15、下载库到本地

将库下载到本地指定文件，保存为whl格式
pip download package_name -d "要保存的文件路径"

附：更换pip源

很多人抱怨pip安装库有些时候太慢了，那是pip源的问题。

前面说过pip从PyPi中下载库文件，但由于PyPi服务器在国外，访问起来很慢。

但国内提供了很多镜像源，用来替代PyPi，像清华源、豆瓣源、阿里云源等。

这些镜像源备份了PyPi里的数据，由于服务器在国内，速度会快很多。

但镜像源数据有滞后性，比如说清华源的pypi 镜像每 5 分钟同步一次。

使用镜像源有两种方式，以清华源为例：

(1) 临时使用

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package matplotlib

除了matplotlib是要安装的库名外，其他都是固定格式

(2) 设为默认

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

设为默认后，以后安装库都是从清华源下载，而且无需再加镜像源网址

附主流镜像源地址

清华：https://pypi.tuna.tsinghua.edu.cn/simple
阿里云：http://mirrors.aliyun.com/pypi/simple/
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
华中理工大学：http://pypi.hustunique.com/
山东理工大学：http://pypi.sdutlinux.org/
豆瓣：http://pypi.douban.com/simple/

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏

Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

github、工具

py-spy：Python 程序的性能监控器

2021年4月14日 Python实用宝典留下评论

py-spy是用于Python程序的性能监控器。它使你可以直观地看到Python程序花费的时间，而无需重新启动程序或以任何方式修改代码。

py-spy的开销非常低：为了最大化提高速度，它是用Rust编写的，并且与配置的Python程序不在同一进程中运行。这意味着 py-spy 可以安全地用于生产环境的Python程序。

py-spy 可在 Linux，OSX，Windows 和 FreeBSD 上运行，并支持所有最新版本的CPython解释器（2.3-2.7和3.3-3.8版）进行性能分析。

1.安装

可以通过以下方式从 PyPI 安装预构建的二进制wheel文件：

pip install py-spy

你也可以从 GitHub Release Page 下载预构建的二进制文件，如果网络无法连接GitHub，你也可在 Python实用宝典 公众号后台回复 pyspy 下载。

2.用法

py-spy 在命令行中进行工作，获取你要从监控的程序的PID或你要运行的python程序的文件。分别有三种分析方法 record，top以及dump：

`record`

py-spy支持使用record命令将配置文件记录到文件中。例如，您可以通过执行以下操作来生成python进程的热力图：

py-spy record -o profile.svg --pid 12345
# OR
py-spy record -o profile.svg -- python myprogram.py

它将生成一个交互式SVG文件，如下所示：

你可以使用参数 –format 更改文件格式。请参阅参考资料，py-spy record --help 以获取有关其他选项的信息，包括更改采样率，仅包含GIL的线程进行过滤，对本机C扩展进行概要分析，显示线程ID，概要分析子进程等。

`Top`

Top显示了在python程序中花费最多时间的函数的实时视图，类似于Unix top命令。使用以下命令运行：

py-spy top --pid 12345
# OR
py-spy top -- python myprogram.py

将显示你的python程序的实时函数消耗：

Dump

py-spy 还可以使用 dump 命令显示每个 python 线程的当前调用堆栈：

py-spy dump --pid 12345

这会将每个线程的调用堆栈以及其他一些基本进程信息转发到控制台：

对于需要一个调用堆栈来确定python程序挂在何处的情况，这很有用。该命令还可以通过设置 --locals 标志来打印出与每个堆栈帧关联的局部变量。

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏

Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

github、Python 数据分析

FoolNLTK — 简单好用的中文NLP工具包

2021年3月30日 Python实用宝典留下评论

FoolNLTK — 作者号称“可能不是最快的开源中文分词，但很可能是最准的开源中文分词”。

这个开源工具包基于BiLSTM模型训练而成，功能包含分词，词性标注，实体识别。并支持用户自定义词典，可训练自己的模型及批量处理文本。

1.准备

开始之前，你要确保Python和pip已经成功安装在电脑上，如果没有，请访问这篇文章：超详细Python安装指南进行安装。

(可选1) 如果你用Python的目的是数据分析，可以直接安装Anaconda：Python数据分析与挖掘好帮手—Anaconda，它内置了Python和pip.

(可选2) 此外，推荐大家用VSCode编辑器来编写小型Python项目：Python 编程的最好搭档—VSCode 详细指南

Windows环境下打开Cmd(开始—运行—CMD)，苹果系统环境下请打开Terminal(command+空格输入Terminal)，输入命令安装依赖：

pip install foolnltk

2.使用说明

2.1 分词功能

通过 fool.cut 函数，能够实现分词功能：

import fool

text = "一个傻子在北京"
print(fool.cut(text))
# ['一个', '傻子', '在', '北京']

命令行针对文件进行分词操作：

python -m fool [filename]

2.2 用户自定义词典

词典格式格式如下，词的权重越高，词的长度越长就越越可能出现，权重值请大于1：

难受香菇 10
什么鬼 10
分词工具 10
北京 10
北京天安门 10

加载词典：

import fool
fool.load_userdict(path) # path 为词典路径
text = ["我在北京天安门看你难受香菇", "我在北京晒太阳你在非洲看雪"]
print(fool.cut(text))
#[['我', '在', '北京', '天安门', '看', '你', '难受', '香菇'],
# ['我', '在', '北京', '晒太阳', '你', '在', '非洲', '看', '雪']]

删除词典：

fool.delete_userdict();

2.3 词性标注

词性标注只需要使用 pos_cut 函数，生成的数组结果中，第一个维度是对应字符串的识别结果。第二个维度是分词后的每个词语及对应的词性。

import fool

text = ["一个傻子在北京"]
print(fool.pos_cut(text))
#[[('一个', 'm'), ('傻子', 'n'), ('在', 'p'), ('北京', 'ns')]]

2.4 实体识别

实体识别的结果元素中，第一二个元素是关键词的起始坐标和结束坐标，第三个元素是实体类别，最后一个元素是实体关键词。

import fool 

text = ["一个傻子在北京","你好啊"]
words, ners = fool.analysis(text)
print(ners)
#[[(5, 8, 'location', '北京')]]

3.定制自己的模型

你可以在 linux 的 Python3 环境定制自己的模型。

git clone https://github.com/rockyzhengwu/FoolNLTK.git
cd FoolNLTK/train

1.训练。模型训练 data_dir 存放训练数据格式如 datasets/demo 下。下载与训练的模型,我这里是将下载的模型软链接到 pretrainmodel 下

python ./train_bert_ner.py --data_dir=data/bid_train_data \
  --bert_config_file=./pretrainmodel/bert_config.json \
  --init_checkpoint=./pretrainmodel/bert_model.ckpt \
  --vocab_file=./pretrainmodel/vocab.txt \
  --output_dir=./output/all_bid_result_dir/ --do_train

2.导出模型。模型导出 predict 同时指定 do_export 就能导出 pb 格式的模型，用于部署:

python ./train_bert_ner.py --data_dir=data/bid_train_data \
  --bert_config_file=./pretrainmodel/bert_config.json \
  --init_checkpoint=./pretrainmodel/bert_model.ckpt \
  --vocab_file=vocab.txt \
  --output_dir=./output/all_bid_result_dir/ --do_predict --do_export

3.预测。在 bert_predict.py 中指定下面三个参数就能加载训练好的模型完成预测:

VOCAB_FILE = './pretrainmodel/vocab.txt'
LABEL_FILE = './output/label2id.pkl'
EXPORT_PATH = './export_models/1581318324'

如果你有兴趣构建自己的模型，并且还有一些构建的疑惑，你可以在这里看到详细的说明文档：
https://github.com/rockyzhengwu/FoolNLTK/blob/master/train/README.md

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏

Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

github、工具

Loguru — 最强大的 Python 日志记录器

2021年3月4日 Python实用宝典留下评论

Loguru 一个能彻底解放你的日志记录器。

它即插即用，具备多种方式滚动日志、自动压缩日志文件、定时删除等功能。

除此之外，多线程安全、高亮日志、日志告警等功能也不在话下。

下面就给大家介绍一下这个强大工具的基本使用方法。

Loguru 安装方式很简单，打开终端输入：

pip install loguru

即可完成安装。

1.即开即用

如果你需要输出 debug 日志到终端，可以这么做：

from loguru import logger

logger.debug("That's it, beautiful and simple logging!")

其输出自带高亮：

如果你需要把日志输出到文件，只需要这样：

from loguru import logger
logger.add("file_{time}.log")
logger.debug("That's it, beautiful and simple logging!")

这样就会在当前运行的文件夹下生成 file_当前时间.log 的日志文件：

2.滚动日志与压缩

使用 Loguru 我们可轻易地实现滚动日志。

按时间滚动

比如按时间滚动，我们只需要在 logger.add 参数中添加一个 rotation 参数：

from loguru import logger
logger.add("file_2.log", rotation="12:00")     # 每天12:00会创建一个新的文件
logger.debug("That's it, beautiful and simple logging!")

这样，如果当前时间过了这个设定的时间，它就会生成一个新的日志文件。如果没有则使用原来的日志文件：

如图所示，过了设定的时间，则将原来的 file_2.log 重命名，并添加一个新的 file_2.log 文件。

按大小滚动

除了按时间滚动日志外，Loguru 还可以按日志大小滚动：

from loguru import logger
logger.add("file_1.log", rotation="1 MB")    # 滚动大日志文件
logger.debug("That's it, beautiful and simple logging!")

这样，一旦日志文件大小超过 1 MB 就会产生新的日志文件。

压缩日志

如果你不想删除原有日志文件，Loguru 还支持将日志直接压缩：

from loguru import logger
logger.add("file_Y.log", compression="zip")    # 压缩日志

3.其他特性

自定义颜色

Loguru 是支持自定义颜色的，如果你不喜欢它默认的颜色，可以这么改：

logger.add(sys.stdout, colorize=True, format="<green>{time}</green> <level>{message}</level>")

类似于HTML标签 <green></green> 标签中间的文字将会被标记为绿色。

多进程安全

Loguru 默认情况下是线程安全的，但它不是多进程安全的。不过如果你需要多进程/异步记录日志，它也能支持，只需要添加一个 enqueue 参数：

logger.add("somefile.log", enqueue=True)

支持Backtrace

对于日志而言，没有错误堆栈的日志是没有灵魂的。Loguru 允许显示整个堆栈信息来帮助你发现问题（包括变量）。

比如下面这个例子：

logger.add("out.log", backtrace=True, diagnose=True)  # Caution, may leak sensitive data in prod

def func(a, b):
    return a / b

def nested(c):
    try:
        func(5, c)
    except ZeroDivisionError:
        logger.exception("What?!")

nested(0)

日志将会是这样的：

非常清晰明了。

邮件告警

Loguru 可以和强大的邮件通知模块 notifiers 库结合使用，以在程序意外失败时接收电子邮件，或发送许多其他类型的通知。

import notifiers

params = {
    "username": "you@gmail.com",
    "password": "abc123",
    "to": "dest@gmail.com"
}

# 初始化时发送一封邮件
notifier = notifiers.get_notifier("gmail")
notifier.notify(message="The application is running!", **params)

# 发生Error日志时，发邮件进行警报
from notifiers.logging import NotificationHandler

handler = NotificationHandler("gmail", defaults=params)
logger.add(handler, level="ERROR")

这样配置之后，每次产生 Error 日志，程序都会自动向你的邮箱发送告警，真的极其方便。

除了这些特性外，Loguru 还支持与 Python 原生的 Logging 模块兼容使用，你可以将原始的标准日志记录器记录的所有信息转移到Loguru中。

你还可以基于 Loguru 定制新的日志 Level，定制自己喜欢的结构化数据，详情可见 Loguru 的官方文档：

https://github.com/Delgan/loguru

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏

Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

github、工具

超简单一键美化你的文章—使其更具可读性

2021年3月2日 Python实用宝典留下评论

在平时写文章的时候，我都会注意在中文和英文单词之间保留一个空格的习惯，这样能使文本具有良好的可读性。

但是我经常忽略某些半角字符（数字和符号）与中文之间的空格，导致可读性比较差，在阅读别人的文章或者修改别人的文章时候，也经常为烦恼他人没有这种优化可读性的细节。

现在，有一个很棒的工具，叫做 pangu , 它可以在中文、日文、韩文和半角字符（字母，数字和符号）之间自动插入空格。

有了它，你可以在每次写完文章后利用 pangu 一键美化文章。也可以用 pangu 美化别人的文章：

import pangu

new_text = pangu.spacing_text('你可以在每次写完文章后利用pangu一键美化文章。也可以用pangu 美化别人的文章：')
print(new_text)
# new_text = '你可以在每次写完文章后利用 pangu 一键美化文章。也可以用 pangu 美化别人的文章：'

如上所示，非常方便。当然你也可以自己用正则表达式去匹配并美化，但是用起来肯定没有 pangu 方便。

下面教大家 pangu 模块的使用方法：

1.准备

开始之前，你要确保Python和pip已经成功安装在电脑上，如果没有，请访问这篇文章：超详细Python安装指南进行安装。

(可选1) 如果你用Python的目的是数据分析，可以直接安装Anaconda：Python数据分析与挖掘好帮手—Anaconda，它内置了Python和pip.

(可选2) 此外，推荐大家用VSCode编辑器来编写小型Python项目：Python 编程的最好搭档—VSCode 详细指南

Windows环境下打开Cmd(开始—运行—CMD)，苹果系统环境下请打开Terminal(command+空格输入Terminal)，输入命令安装依赖：

pip install -U pangu

2.使用

安装完成之后，你可以尝试写一些简单的句子并美化它们：

import pangu

new_text = pangu.spacing_text('Windows环境下打开Cmd(开始—运行—CMD)，苹果系统环境下请打开Terminal(command+空格输入Terminal)')
print(new_text)
# new_text = 'Windows 环境下打开 Cmd (开始 — 运行 —CMD)，苹果系统环境下请打开 Terminal (command + 空格输入 Terminal)'

一键执行

你也可以不写 python 文件，直接通过 -m 参数执行命令：

python -m pangu "為什麼小明有問題都不Google？因為他有Bing"
# 為什麼小明有問題都不 Google？因為他有 Bing

此外，pangu 也支持 pangu 命令直接格式化文本：

pangu "請使用uname -m指令來檢查你的Linux作業系統是32位元或是[敏感词已被屏蔽]位元"
# 請使用 uname -m 指令來檢查你的 Linux 作業系統是 32 位元或是 [敏感词已被屏蔽] 位元

文件支持

通过 -f 参数，pangu 支持把指定的文件内容进行美化，然后输出到另一个文件中：

echo "未來的某一天，Gmail配備的AI可能會得出一個結論：想要消滅垃圾郵件最好的辦法就是消滅人類" >> path/to/file.txt
pangu -f path/to/file.txt >> pangu_file.txt
cat pangu_file.txt
# 未來的某一天，Gmail 配備的 AI 可能會得出一個結論：想要消滅垃圾郵件最好的辦法就是消滅人類

管道支持 (UNIX)

在 UNIX 系统中，比如 Linux 和 MacOS，pangu还支持使用管道 ( | ) 命令美化文本：

echo "心裡想的是Microservice，手裡做的是Distributed Monolith" | pangu
# 心裡想的是 Microservice，手裡做的是 Distributed Monolith

echo "你從什麼時候開始產生了我沒使用Monkey Patch的錯覺?" | python -m pangu
# 你從什麼時候開始產生了我沒使用 Monkey Patch 的錯覺？

两句命令的效果一样，如果你无法直接使用 pangu 命令，可以尝试 python -m pangu，他们能达到一样的效果。

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏

Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

github、工具、解决方案

PySnooper – 永远不要使用print进行调试

2021年2月20日 Python实用宝典留下评论

PySnooper 是一个非常方便的调试器。如果您正在试图弄清楚为什么您的Python代码没有按照您的预期去做，您会希望使用具有断点和监视功能的成熟Debug工具，但是许多Debug工具配置起来非常麻烦。

现在，有了PySnooper，您并不需要配置那么复杂的Debug工具，就能够完成对整个代码的分析。它能告诉您哪些代码正在运行，以及局部变量的值是什么。

其实，PySnooper就是替代了一行一行print的重复性工作，给你的代码一个pysnooper装饰器，它能自动识别到语句和变量并将其值print出来：

import pysnooper

@pysnooper.snoop()
def number_to_bits(number):
    if number:
        bits = []
        while number:
            number, remainder = divmod(number, 2)
            bits.insert(0, remainder)
        return bits
    else:
        return [0]

number_to_bits(6)

效果如下：

Source path:... 1.py
Starting var:.. number = 6
23:03:35.990701 call         4 def number_to_bits(number):
23:03:35.991699 line         5     if number:
23:03:35.991699 line         6         bits = []
New var:....... bits = []
23:03:35.991699 line         7         while number:
23:03:35.991699 line         8             number, remainder = divmod(number, 2)
Modified var:.. number = 3
New var:....... remainder = 0
23:03:35.991699 line         9             bits.insert(0, remainder)
Modified var:.. bits = [0]
23:03:36.004664 line         7         while number:
23:03:36.005661 line         8             number, remainder = divmod(number, 2)
Modified var:.. number = 1
Modified var:.. remainder = 1
23:03:36.005661 line         9             bits.insert(0, remainder)
Modified var:.. bits = [1, 0]
23:03:36.007657 line         7         while number:
23:03:36.007657 line         8             number, remainder = divmod(number, 2)
Modified var:.. number = 0
23:03:36.008655 line         9             bits.insert(0, remainder)
Modified var:.. bits = [1, 1, 0]
23:03:36.008655 line         7         while number:
23:03:36.009651 line        10         return bits
23:03:36.009651 return      10         return bits
Return value:.. [1, 1, 0]
Elapsed time: 00:00:00.020945

可以看到，它将每一行变量的值都输出到屏幕上，方便你调试代码。

仅仅需要写一行代码—使用装饰器就可以实现这个方便的调试功能，比起一行行写print，这可方便多了。

0.安装

使用这个模块，你只需要使用Pip安装PySnooper：

pip install pysnooper

接下来讲讲这个模块其他好用的功能：

1.支持日志文件

如果你觉得print到屏幕上不方便，还可以将其输出到log文件中，你只需要将装饰器那一行改为：

@pysnooper.snoop('/my/log/file.log')

2.读取局外变量或其他表达式

如果你想读取在装饰器作用范围以外的变量或者表达式的值，还可以使用watch参数：

@pysnooper.snoop(watch=('foo.bar', 'self.x["whatever"]'))

3.如果你不想用装饰器，也可以用上下文的形式调试

没错，装饰器有限定的使用条件，使用起来比较局限，因此pysnooper还支持使用 with 的上下文形式：

import pysnooper
import random

def foo():
    lst = []
    for i in range(10):
        lst.append(random.randrange(1, 1000))

    with pysnooper.snoop():
        lower = min(lst)
        upper = max(lst)
        mid = (lower + upper) / 2
        print(lower, mid, upper)

foo()

效果如下，只有上下文里的代码才会被调试出来：

New var:....... i = 9
New var:....... lst = [681, 267, 74, 832, 284, 678, ...]
09:37:35.881721 line        10         lower = min(lst)
New var:....... lower = 74
09:37:35.882137 line        11         upper = max(lst)
New var:....... upper = 832
09:37:35.882304 line        12         mid = (lower + upper) / 2
74 453.0 832
New var:....... mid = 453.0
09:37:35.882486 line        13         print(lower, mid, upper)
Elapsed time: 00:00:00.000344

当我们只需要调试部分代码的时候，这个上下文形式的调试方法非常方便。

此外，PySnooper还有许多更强大的用法，大家可以看他们的高级使用文档：

https://github.com/cool-RR/PySnooper/blob/master/ADVANCED_USAGE.md

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏

Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

github、工具

漂亮的GitHub个人总览，原来这么容易实现

2021年2月6日 Python实用宝典留下评论

前段时间，GitHub悄悄地发布了一个新功能：Profile README.

翻译成中文即简历型README，好听一点就是个人自述型简历，简单点就是个人GitHub总览。

下面给大家讲讲怎么通过 GitHub API 创建一个能够自更新的总览。

1.首先，创建一个GitHub仓库：

创建一个与你的GitHub帐户同名的存储库（在我的情况下为github.com/Ckend/Ckend）

向其添加一个README.md，我写入了以下内容：

“To be continued…”

如图所示：

然后GitHub将在你的个人资料页面顶部呈现该README内容，对我来说就是github.com/Ckend：

如图所示，你用户名的这个仓库的 README.md 将成为你的个人资料首页的展示内容。

2.美化你的展示内容

首先，我们可以加一个GitHub的基本统计信息：

这是官方给出的统计组件API，使用起来很方便，你只需要往你的README.md里添加下述代码即可：

<img align="left" src="https://github-readme-stats.vercel.app/api?username=你的账号用户名&include_all_commits=true&count_private-true&custom_title=你的账号用户名'%20GitHub%20Stats&line_height=30&show_icons=true&hide_border=true&bg_color=192133&title_color=efb752&icon_color=efb752&text_color=70bed9">

此外GitHub官方还提供了一个展示自己最常用语言的接口。

你可以在README.md里添加下述内容展示这个图表：

<img align="right" src="https://github-readme-stats.vercel.app/api/top-langs/?username=ckend">

你还可以带一个 &layout=compact 参数展示横版图表：

<img align="right" src="https://github-readme-stats.vercel.app/api/top-langs/?username=ckend&layout=compact">

另外，我们还可以加上技术栈图标：

利用 https://img.shields.io 提供的图标，可以轻松实现这点，在README键入以下内容即可：

### 技术栈

![Python](https://img.shields.io/badge/-Python-192133?style=flat-square&logo=python&logoColor=white)
![Django](https://img.shields.io/badge/-Django-192133?style=flat-square&logo=figma&logoColor=white)
![PHP](https://img.shields.io/badge/-PHP-192133?style=flat-square&logo=figma&logoColor=white)
![MySQL](https://img.shields.io/badge/-MySQL-192133?style=flat-square&logo=mysql&logoColor=white)
![Redis](https://img.shields.io/badge/-Redis-192133?style=flat-square&logo=redis&logoColor=white)
![Elasticsearch](https://img.shields.io/badge/-Elasticsearch-192133?style=flat-square&logo=elasticsearch&logoColor=white)
![Kafka](https://img.shields.io/badge/-Kafka-192133?style=flat-square&logo=apache-kafka&logoColor=white)

当然，你要根据自己的情况做修改。

此外，shields网站还能自定义图标，可以用于展示自己的项目：

### 项目
[![pythondict-quant](https://img.shields.io/badge/pythondict-quant-192133?style=flat-square)](https://github.com/Ckend/pythondict-quant)
[![scihub-cn](https://img.shields.io/badge/scihub-cn-192133?style=flat-square)](https://github.com/Ckend/scihub-cn)

你可以按照自己的情况选择以上任意一种组件来美化总览。

完成一个漂亮的总览，能让你更有动力去维护GitHub仓库，所以一定要动手试试。

下面给大家提供一份我的总览完整版：

<img align="left" src="https://github-readme-stats.vercel.app/api?username=Ckend&include_all_commits=true&count_private-true&custom_title=Ckend'%20GitHub%20Stats&line_height=30&show_icons=true&hide_border=true&bg_color=192133&title_color=efb752&icon_color=efb752&text_color=70bed9">

### 技术栈

![Python](https://img.shields.io/badge/-Python-192133?style=flat-square&logo=python&logoColor=white)
![Django](https://img.shields.io/badge/-Django-192133?style=flat-square&logo=figma&logoColor=white)
![PHP](https://img.shields.io/badge/-PHP-192133?style=flat-square&logo=figma&logoColor=white)
![MySQL](https://img.shields.io/badge/-MySQL-192133?style=flat-square&logo=mysql&logoColor=white)
![Redis](https://img.shields.io/badge/-Redis-192133?style=flat-square&logo=redis&logoColor=white)
![Elasticsearch](https://img.shields.io/badge/-Elasticsearch-192133?style=flat-square&logo=elasticsearch&logoColor=white)
![Kafka](https://img.shields.io/badge/-Kafka-192133?style=flat-square&logo=apache-kafka&logoColor=white)

### 项目
[![pythondict-quant](https://img.shields.io/badge/pythondict-quant-192133?style=flat-square)](https://github.com/Ckend/pythondict-quant)
[![scihub-cn](https://img.shields.io/badge/scihub-cn-192133?style=flat-square)](https://github.com/Ckend/scihub-cn)

大家可以参考这个方案进行修改，绘制一个属于自己的漂亮总览。

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏

Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

github、解决方案

Python 三行代码检测爬虫

2020年7月27日 Python实用宝典留下评论

是否担心别人将你的博客文章全部爬下来？

是否担心高频率爬虫导致网站瘫痪？

别担心，现在有一个Python写的神器——crawlerdetect，帮助你检测爬虫，保障网站的正常运转。

1.准备

开始之前，你要确保Python和pip已经成功安装在电脑上噢，如果没有，请访问这篇文章：超详细Python安装指南进行安装。如果你用Python的目的是数据分析，可以直接安装Anaconda：Python数据分析与挖掘好帮手—Anaconda

Windows环境下打开Cmd(开始—运行—CMD)，苹果系统环境下请打开Terminal(command+空格输入Terminal)，准备开始输入命令安装依赖。

当然，我更推荐大家用VSCode编辑器，把本文代码Copy下来，在编辑器下方的终端运行命令安装依赖模块，多舒服的一件事啊：Python 编程的最好搭档—VSCode 详细指南。

在终端输入以下命令安装我们所需要的依赖模块:

pip install crawlerdetect

看到 Successfully installed xxx 则说明安装成功。

2.使用方法

它可以通过user-agent、headers等请求头识别爬虫或机器人。

因此，你可以传递两种参数。第一种，使用user-agent检测机器人：

from crawlerdetect import CrawlerDetect
crawler_detect = CrawlerDetect(user_agent='Mozilla/5.0 (iPhone; CPU iPhone OS 7_1 like Mac OS X) AppleWebKit (KHTML, like Gecko) Mobile (compatible; Yahoo Ad monitoring; https://help.yahoo.com/kb/yahoo-ad-monitoring-SLN24857.html)')
crawler_detect.isCrawler()
# 如果是机器人，这条语句返回True

第二种识别方式会用上全部headers参数，这种方式比单纯用user-agent精准，因为它判断的依据更加全面。

from crawlerdetect import CrawlerDetect
crawler_detect = CrawlerDetect(headers={'DOCUMENT_ROOT': '/home/test/public_html', 'GATEWAY_INTERFACE': 'CGI/1.1', 'HTTP_ACCEPT': '*/*', 'HTTP_ACCEPT_ENCODING': 'gzip, deflate', 'HTTP_CACHE_CONTROL': 'no-cache', 'HTTP_CONNECTION': 'Keep-Alive', 'HTTP_FROM': 'googlebot(at)googlebot.com', 'HTTP_HOST': 'www.test.com', 'HTTP_PRAGMA': 'no-cache', 'HTTP_USER_AGENT': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.71 Safari/537.36', 'PATH': '/bin:/usr/bin', 'QUERY_STRING': 'order=closingDate', 'REDIRECT_STATUS': '200', 'REMOTE_ADDR': '127.0.0.1', 'REMOTE_PORT': '3360', 'REQUEST_METHOD': 'GET', 'REQUEST_URI': '/?test=testing', 'SCRIPT_FILENAME': '/home/test/public_html/index.php', 'SCRIPT_NAME': '/index.php', 'SERVER_ADDR': '127.0.0.1', 'SERVER_ADMIN': 'webmaster@test.com', 'SERVER_NAME': 'www.test.com', 'SERVER_PORT': '80', 'SERVER_PROTOCOL': 'HTTP/1.1', 'SERVER_SIGNATURE': '', 'SERVER_SOFTWARE': 'Apache', 'UNIQUE_ID': 'Vx6MENRxerBUSDEQgFLAAAAAS', 'PHP_SELF': '/index.php', 'REQUEST_TIME_FLOAT': 1461619728.0705, 'REQUEST_TIME': 1461619728})
crawler_detect.isCrawler()
# 如果是机器人，这条语句返回True

你还可以识别相应爬虫的名字（如果有的话），通过这种方式，你能给一些著名的爬虫（如baiduspider、googlebot）添加白名单，不进行拦截。

from crawlerdetect import CrawlerDetect
crawler_detect = CrawlerDetect()
crawler_detect.isCrawler('Mozilla/5.0 (compatible; Sosospider/2.0; +http://help.soso.com/webspider.htm)')
# 如果是机器人，这条语句返回True
crawler_detect.getMatches()
# Sosospider

有了这个工具，我们就可以实现实时的爬虫封禁：

首先，你要实时监控网站上的http请求，检测其对应的headers.

其次，如果识别到该请求是机器人（爬虫）发出的，就可将其IP记录下来。

最后，将IP加入到Nginx或Apache的动态黑名单中，实现实时的爬虫封禁。

这一套流程我还没有试验过，大家有兴趣可以试试，理论上可行。

我们的文章到此就结束啦，如果你喜欢今天的Python 实战教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

Python实用宝典 (pythondict.com)
不只是一个宝典
欢迎关注公众号：Python实用宝典

认识pip

1、安装pip

2、查看pip版本

3、升级pip

4、获取帮助

5、安装库

6、批量安装库

7、使用wheel文件安装库

8、卸载库

9、升级库

10、查看库信息

11、查看已安装的库

12、将库列表保存到指定文件中

13、查看需要升级的库

14、检查兼容问题

15、下载库到本地

附：更换pip源

1.安装

2.用法

record

Top

Dump

1.准备

2.使用说明

2.1 分词功能

2.2 用户自定义词典

2.3 词性标注

2.4 实体识别

3.定制自己的模型

1.即开即用

2.滚动日志与压缩

3.其他特性

1.准备

2.使用

1.首先，创建一个GitHub仓库：

2.美化你的展示内容

1.准备

2.使用方法

有趣好用的Python教程

`record`

`Top`