分类目录归档：Python 办公

Python 办公、工具、开发工具

Delorean 优秀的Python时间格式转换工具

2021年10月6日 Python实用宝典留下评论

DeLorean是一个Python的第三方模块，基于 pytz 和 dateutil 开发的，用于处理Python中日期时间的格式转换。

由于时间转换是一个足够微妙的问题，DeLorean希望为移位、操作和生成日期时间提供一种更干净、更省事的解决方案。比如，实例化字符串形式的时间对象，Delorean只需要 parse 指定字符串，不需要声明其格式就可以进行转换。

至于 Delorean 这个模块名称的由来，Delorean 是电影《回到未来》里的那辆极为炫酷的鸥翼汽车，采用这部电影里的非常具有代表性的汽车的名字作为库名，作者估计也是想表达使用这个库能让你在时空里任意遨游，没有掣肘。

1.准备

开始之前，你要确保Python和pip已经成功安装在电脑上，如果没有，请访问这篇文章：超详细Python安装指南进行安装。

(可选1) 如果你用Python的目的是数据分析，可以直接安装Anaconda：Python数据分析与挖掘好帮手—Anaconda，它内置了Python和pip.

(可选2) 此外，推荐大家用VSCode编辑器来编写小型Python项目：Python 编程的最好搭档—VSCode 详细指南

Windows环境下打开Cmd(开始—运行—CMD)，苹果系统环境下请打开Terminal(command+空格输入Terminal)，输入命令安装依赖：

pip install Delorean

2.Delorean 基础使用

轻松获取当前时间：

from delorean import Delorean

d = Delorean()
print(d)
# Delorean(datetime=datetime.datetime(2021, 10, 6, 9, 5, 57, 611589), timezone='UTC')

将datetime格式的时间转化为Delorean：

import datetime
from delorean import Delorean

d = Delorean()
print(d)
d = Delorean(datetime=datetime.datetime(2018, 5, 10, 8, 52, 23, 560811), timezone='UTC')
# 这里默认的是UTC时间
print(d)
# Delorean(datetime=datetime.datetime(2021, 10, 6, 9, 5, 57, 611589), timezone='UTC')
# Delorean(datetime=datetime.datetime(2018, 5, 10, 8, 52, 23, 560811), timezone='UTC')

转换为国内时区：

import datetime
from delorean import Delorean

d = Delorean(datetime=datetime.datetime(2018, 5, 10, 8, 52, 23, 560811), timezone='UTC')
d = d.shift("Asia/Shanghai")
print(d)
# Delorean(datetime=datetime.datetime(2018, 5, 10, 16, 52, 23, 560811), timezone='Asia/Shanghai')

输出为 datetime、date 也不在话下:

import datetime
from delorean import Delorean

d = Delorean(datetime=datetime.datetime(2018, 5, 10, 8, 52, 23, 560811), timezone='UTC')
d = d.shift("Asia/Shanghai")
print(d.datetime)
print(d.date)
# 2018-05-10 16:52:23.560811+08:00
# 2018-05-10

查看无时区时间及时间戳：

import datetime
from delorean import Delorean

d = Delorean(datetime=datetime.datetime(2018, 5, 10, 8, 52, 23, 560811), timezone='UTC')
d = d.shift("Asia/Shanghai")
print(d.epoch)
print(d.naive)
# 1525942343.560811
# 2018-05-10 08:52:23.560811

用unix时间戳初始化Delorean：

from delorean import epoch
d = epoch(1357971038.102223).shift("Asia/Shanghai")
print(d)
# Delorean(datetime=datetime.datetime(2013, 1, 12, 14, 10, 38, 102223), timezone='Asia/Shanghai')

Delorean支持timedelta的时间加减法。Delorean可以使用timedelta进行加减，得到一个Delorean对象：

import datetime
from delorean import Delorean

d = Delorean(datetime=datetime.datetime(2018, 5, 10, 8, 52, 23, 560811), timezone='UTC')
d = d.shift("Asia/Shanghai")
print(d)
d2 = d + datetime.timedelta(hours=2)
print(d2)
d3 = d - datetime.timedelta(hours=3)
print(d3)
# Delorean(datetime=datetime.datetime(2018, 5, 10, 16, 52, 23, 560811), timezone='Asia/Shanghai')
# Delorean(datetime=datetime.datetime(2018, 5, 10, 18, 52, 23, 560811), timezone='Asia/Shanghai')
# Delorean(datetime=datetime.datetime(2018, 5, 10, 13, 52, 23, 560811), timezone='Asia/Shanghai')

3. Delorean 高级使用

通常情况下我们不关心有多少微妙或者多少秒，因此Delorean提供了非常方便的过滤方式：

from delorean import Delorean

d = Delorean()
print(d)
# Delorean(datetime=datetime.datetime(2019, 3, 14, 4, 0, 50, 597357), timezone='UTC')
d.truncate('second')
# Delorean(datetime=datetime.datetime(2019, 3, 14, 4, 0, 50), timezone='UTC')
d.truncate('hour')
# Delorean(datetime=datetime.datetime(2019, 3, 14, 4, 0), timezone='UTC')
d.truncate('month')
# Delorean(datetime=datetime.datetime(2019, 3, 1, 0, 0), timezone='UTC')
d.truncate('year')
# Delorean(datetime=datetime.datetime(2019, 1, 1, 0, 0), timezone='UTC')

另外，datetime格式的字符串处理的时候转换需要标明各种各样的格式，在Delorean你直接parse就可以了：

from delorean import parse
parse("2011/01/01 00:00:00 -0700")
# Delorean(datetime=datetime.datetime(2011, 1, 1, 0, 0), timezone=pytz.FixedOffset(-420))
parse("2018-05-06")
# Delorean(datetime=datetime.datetime(2018, 6, 5, 0, 0), timezone='UTC')

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏

Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

Python 办公、开发工具

这个神奇的工具，能自动将.py转换为.exe

2021年9月26日 Python实用宝典留下评论

Auto-py-to-exe 能够基于简单的GUI图形界面和Python中的 PyInstaller，将.py转换为.exe，非常容易使用，适合那些需要在windows上直接执行py文件但又没有Python运行环境的情景。

1. 安装和使用

通过 PyPI 安装

你可以使用PyPI安装此项目：

pip install auto-py-to-exe

然后运行它，在终端中执行以下命令：

auto-py-to-exe

通过 GitHub 安装

git clone https://github.com/brentvollebregt/auto-py-to-exe.git
cd auto-py-to-exe
python setup.py install

然后运行它，在终端中执行以下命令：

auto-py-to-exe

在本地通过 Github 运行（无需安装）

你可以通过以下步骤在本地运行此项目:

1. 克隆/下载 https://github.com/brentvollebregt/auto-py-to-exe

2. 打开 cmd 或终端并 cd 到该项目

3. 执行以下命令

python -m pip install -r requirements.txt

现在运行应用程序，执行：

python -m auto_py_to_exe

将在应用程序模式下打开一个Chrome窗口，并在其中运行本项目。

2. 使用本程序

1.选择您的脚本文件的位置（粘贴或使用文件浏览器），文件存在时轮廓将变为蓝色：

2. 选择其他选项并添加图标或附加文件之类的内容

3. 点击底部的蓝色大按钮进行转换

完成后当前终端所处目录的 output 文件夹中找到转换后的文件：

非常简单，大家有需要可以试试看。

参数使用

如果你不想使用可视化的GUI，也可以通过参数创建：

auto-py-to-exe [-nc] [-c [CONFIG]] [-o [PATH]] [filename]

参数	类型	描述
filename	positional	在用户界面中预先填写“脚本位置”字段。
-nc, –no-chrome	optional	使用默认浏览器打开用户界面。不会尝试寻找Chrome。
-nu, –no-ui	optional	不要试图在浏览器中打开界面。
-c [CONFIG], –config [CONFIG]	optional	提供配置文件（json）以预填充UI。这些可以在设置选项卡中生成。
-o [PATH], –output-dir [PATH]	optional	设置默认输出目录。

当然，我建议还是使用GUI的方式，用起来比命令行的形式方便许多。不过你如果需要批量创建exe，那么确实参数形式更适合你。

导出导入配置

“设置”里有“配置导入和导出”部分，它可以将配置作为JSON字符串导出到剪贴板或文件，从而导出UI的当前状态。然后可以使用该JSON再次将配置导入到UI中，以重新填充所有字段。

3. 使用上出现问题

1.输出可执行文件很大

有时 pyinstaller 会自动添加它在你的环境中看到的包，即使你没有在被打包的项目中使用它们。这可能导致输出可执行文件的大小为数十到数百兆字节。

为了解决这个问题，最简单的方法是：

创建一个新的/干净的虚拟环境
将 auto-py-to-exe 安装到其中
为你的项目安装所需的模块
在这个虚拟环境中使用 auto-py-to-exe 来打包你的脚本

这样做意味着 pyinstaller 看不到你不需要捆绑的软件包，文件会被尽可能减小。

2.命令“python setup.py egg_info”失败，错误代码为 1

安装最新版 setuptools:

pip install --upgrade setuptools.

3.PermissionError: [Errno 13] 权限被拒绝: …

发生这种情况是因为你试图修改无权访问的目录中的文件。解决此问题的一种方法是通过以管理员身份打开 cmd 来运行具有管理员权限的脚本，然后 cd 到你希望输出的脚本的所在目录运行 auto-py-to-exe。

更多的问题，可以在这篇文章中尝试查找解决方案：https://nitratine.net/blog/post/issues-when-using-auto-py-to-exe/

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏

Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

Python 办公、开发工具

大型Python项目依赖树很烦？教你一招一键理清

2021年9月9日 Python实用宝典留下评论

你可能时常会遇到由于包的版本不匹配导致代码报错的问题，由于 pip freeze 将所有依赖项显示为二维列表，这时候如果想找到这个错误版本的包是比较麻烦的事情。这时候，有个工具你必须得知道，它就是 pipdeptree.

pipdeptree 是一个命令行实用程序，它能用于以依赖关系树可视化的形式显示已安装的python包。

它适用于全局安装在计算机上的各个模块软件包，也适用于Virtualenv等虚拟环境中的软件包。

1.安装

你只需要在你的虚拟环境中输入以下命令就能安装pipdeptree：

pip install pipdeptree

已通过测试的Python版本：2.7，3.5，3.6，3.7，3.8，3.9 以及 pypy2 和 pypy3.

2.用法和示例

pip freeze 和 pipdeptree 最大的区别如下：

# pip freeze 的显示
$ pip freeze
Flask==0.10.1
itsdangerous==0.24
Jinja2==2.11.2
-e git+git@github.com:naiquevin/lookupy.git@cdbe30c160e1c29802df75e145ea4ad903c05386#egg=Lookupy
MarkupSafe==0.22
pipdeptree @ file:///private/tmp/pipdeptree-2.0.0b1-py3-none-any.whl
Werkzeug==0.11.2

可见，pip freeze 最多只能显示一个依赖的列表，而在 pipdeptree ，每个模块的依赖关系能够非常直观地展示出来：

$ pipdeptree
Warning!!! Possibly conflicting dependencies found:
* Jinja2==2.11.2
 - MarkupSafe [required: >=0.23, installed: 0.22]
------------------------------------------------------------------------
Flask==0.10.1
  - itsdangerous [required: >=0.21, installed: 0.24]
  - Jinja2 [required: >=2.4, installed: 2.11.2]
    - MarkupSafe [required: >=0.23, installed: 0.22]
  - Werkzeug [required: >=0.7, installed: 0.11.2]
Lookupy==0.1
pipdeptree==2.0.0b1
  - pip [required: >=6.0.0, installed: 20.1.1]
setuptools==47.1.1
wheel==0.34.2

请注意这个 Warning，提示了你哪些模块会造成其依赖的模块版本发生冲突，这是非常有用的提示，很多时候问题就出现在这里。

不仅如此，如果存在循环性依赖，比如：

CircularDependencyA => CircularDependencyB => CircularDependencyA

它会进行如下提示：

$ pipdeptree --exclude pip,pipdeptree,setuptools,wheel
Warning!!! Cyclic dependencies found:
- CircularDependencyA => CircularDependencyB => CircularDependencyA
- CircularDependencyB => CircularDependencyA => CircularDependencyB
------------------------------------------------------------------------
wsgiref==0.1.2
argparse==1.2.1

如果你想生成 requirements.txt，可以这么做：

$ pipdeptree -f | tee locked-requirements.txt
Flask==0.10.1
  itsdangerous==0.24
  Jinja2==2.11.2
    MarkupSafe==0.23
  Werkzeug==0.11.2
gnureadline==8.0.0
-e git+git@github.com:naiquevin/lookupy.git@cdbe30c160e1c29802df75e145ea4ad903c05386#egg=Lookupy
pipdeptree @ file:///private/tmp/pipdeptree-2.0.0b1-py3-none-any.whl
  pip==20.1.1
setuptools==47.1.1
wheel==0.34.2

在确认没有冲突的依赖项后，甚至可以将其“锁定”，其中所有包都将固定到其当前安装的版本：

$ pipdeptree -f | sed 's/ //g' | sort -u > locked-requirements.txt

3. 可视化依赖树

为了能够可视化展示依赖树，我们需要安装GraphViz，我们需要安装GraphViz，安装GraphViz的教程可见这篇文章：Python 一键转化代码为流程图。安装完成后输入以下命令：

pipdeptree --graph-output png > dependencies.png

# pipdeptree --graph-output dot > dependencies.dot
# pipdeptree --graph-output pdf > dependencies.pdf
# pipdeptree --graph-output svg > dependencies.svg

支持四种格式的输出，这里png的输出效果如下：

效果还是非常不错的，大家如果有需要清理依赖的大型项目，可以用 pipdeptree 试一下。

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏

Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

Python 办公、性能优化

超级方便的轻量级Python流水线工具，拥有漂亮的可视化界面！

2021年9月4日 Python实用宝典留下评论

Mara-pipelines 是一个轻量级的数据转换框架，具有透明和低复杂性的特点。其他特点如下：

基于非常简单的Python代码就能完成流水线开发。
使用 PostgreSQL 作为数据处理引擎。
有Web界面可视化分析流水线执行过程。
基于 Python 的 multiprocessing 单机流水线执行。不需要分布式任务队列。轻松调试和输出日志。
基于成本的优先队列：首先运行具有较高成本（基于记录的运行时间）的节点。

此外，在Mara-pipelines的Web界面中，你不仅可以查看和管理流水线及其任务节点，你还可以直接触发这些流水线和节点，非常好用：

1.安装

由于使用了大量的依赖，Mara-pipelines 并不适用于Windows，如果你需要在Windows上使用Mara-pipelines，请使用docker或者windows下的linux子系统。

使用pipe安装Mara-pipelines:

pip install mara-pipelines

或者：

pip install git+https://github.com/mara/mara-pipelines.git

2.使用示例

这是一个基础的流水线演示，由三个相互依赖的节点组成，包括任务1(ping_localhost), 子流水线(sub_pipeline), 任务2(sleep):

# 注意，这个示例中使用了部分国外的网站，如果无法访问，请变更为国内网站。
from mara_pipelines.commands.bash import RunBash
from mara_pipelines.pipelines import Pipeline, Task
from mara_pipelines.ui.cli import run_pipeline, run_interactively

pipeline = Pipeline(
    id='demo',
    description='A small pipeline that demonstrates the interplay between pipelines, tasks and commands')

pipeline.add(Task(id='ping_localhost', description='Pings localhost',
                  commands=[RunBash('ping -c 3 localhost')]))

sub_pipeline = Pipeline(id='sub_pipeline', description='Pings a number of hosts')

for host in ['google', 'amazon', 'facebook']:
    sub_pipeline.add(Task(id=f'ping_{host}', description=f'Pings {host}',
                          commands=[RunBash(f'ping -c 3 {host}.com')]))

sub_pipeline.add_dependency('ping_amazon', 'ping_facebook')
sub_pipeline.add(Task(id='ping_foo', description='Pings foo',
                      commands=[RunBash('ping foo')]), ['ping_amazon'])

pipeline.add(sub_pipeline, ['ping_localhost'])

pipeline.add(Task(id='sleep', description='Sleeps for 2 seconds',
                  commands=[RunBash('sleep 2')]), ['sub_pipeline'])

可以看到，Task包含了多个commands，这些commands会用于真正地执行动作。而 pipeline.add 的参数中，第一个参数是其节点，第二个参数是此节点的上游。如：

pipeline.add(sub_pipeline, ['ping_localhost'])

则表明必须执行完 ping_localhost 才会执行 sub_pipeline.

为了运行这个流水线，需要配置一个 PostgreSQL 数据库来存储运行时信息、运行输出和增量处理状态：

import mara_db.auto_migration
import mara_db.config
import mara_db.dbs

mara_db.config.databases \
    = lambda: {'mara': mara_db.dbs.PostgreSQLDB(host='localhost', user='root', database='example_etl_mara')}

mara_db.auto_migration.auto_discover_models_and_migrate()

如果 PostgresSQL 正在运行并且账号密码正确，输出如下所示（创建了一个包含多个表的数据库）：

Created database "postgresql+psycopg2://root@localhost/example_etl_mara"

CREATE TABLE data_integration_file_dependency (
    node_path TEXT[] NOT NULL, 
    dependency_type VARCHAR NOT NULL, 
    hash VARCHAR, 
    timestamp TIMESTAMP WITHOUT TIME ZONE, 
    PRIMARY KEY (node_path, dependency_type)
);

.. more tables

为了运行这个流水线，你需要：

from mara_pipelines.ui.cli import run_pipeline

run_pipeline(pipeline)

这将运行单个流水线节点及其 (sub_pipeline) 所依赖的所有节点：

run_pipeline(sub_pipeline, nodes=[sub_pipeline.nodes['ping_amazon']], with_upstreams=True)

3.Web 界面

我认为 mara-pipelines 最有用的是他们提供了基于Flask管控流水线的Web界面。

对于每条流水线，他们都有一个页面显示：

所有子节点的图以及它们之间的依赖关系
流水线的总体运行时间图表以及过去 30 天内最昂贵的节点（可配置）
所有流水线节点及其平均运行时间和由此产生的排队优先级的表
流水线最后一次运行的输出和时间线

对于每个任务，都有一个页面显示

流水线中任务的上游和下游
最近 30 天内任务的运行时间
任务的所有命令
任务最后运行的输出

此外，流水线和任务可以直接从网页端调用运行，这是非常棒的特点：

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏

Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

Python 办公、工具、性能优化、解决方案

Isort 自动整理”import”的超实用工具详细教程

2021年7月22日 Python实用宝典留下评论

isort 是一个Python的实用程序/库，它会按字母顺序对导入(import)的库进行排序，并自动分组。它提供多种使用方式，包括命令行、Python调用等。

它基于Python 3.6+实现，但也支持格式化Python 2代码。

在使用 isort 格式化你的 import 之前，你的代码可能是长这样的：

from my_lib import Object
import os
from my_lib import Object3
from my_lib import Object2
import sys
from third_party import lib15, lib1, lib2, lib3, lib4, lib5, lib6, lib7, lib8, lib9, lib10, lib11, lib12, lib13, lib14
import sys
from __future__ import absolute_import
from third_party import lib3
print("Hey")
print("yo")

使用 isort 格式化后的代码是这样的：

from __future__ import absolute_import import os
import sys from third_party import (lib1, lib2, lib3, lib4, lib5, lib6, lib7, lib8,
                        lib9, lib10, lib11, lib12, lib13, lib14, lib15)

from my_lib import Object, Object2, Object3 
print("Hey")
print("yo")

杂乱无章的格式瞬间变得井然有序，可见这是一款多么优秀的整理工具，下面就来介绍这个工具的安装及使用过程，及进阶用法。

1.准备

开始之前，你要确保Python和pip已经成功安装在电脑上，如果没有，请访问这篇文章：超详细Python安装指南进行安装。

(可选1) 如果你用Python的目的是数据分析，可以直接安装Anaconda：Python数据分析与挖掘好帮手—Anaconda，它内置了Python和pip.

(可选2) 此外，推荐大家用VSCode编辑器来编写小型Python项目：Python 编程的最好搭档—VSCode 详细指南

Windows环境下打开Cmd(开始—运行—CMD)，苹果系统环境下请打开Terminal(command+空格输入Terminal)，输入命令安装依赖：

pip install isort

如果你需要让他支持对 requirements.txt 的整理，请这样安装：

pip install isort[requirements_deprecated_finder]

2.使用 isort 整理你的python引用

isort 有2种使用方法，一种是从命令行直接针对py文件进行整理、另一种是在Python内导入 isort 进行整理。

命令行整理

要在特定文件上运行 isort，请在命令行执行以下操作：

isort mypythonfile.py mypythonfile2.py
# 或
python -m isort mypythonfile.py mypythonfile2.py

要对本文件夹递归进行isort整理，请执行以下操作：

isort .
# 或
python -m isort .

要查看更改建议的而不直接应用它们，请执行以下操作：

isort mypythonfile.py --diff

如果你要对项目自动运行isort，但是希望仅在未引入语法错误的情况下应用更改：

isort --atomic .

(注意：这在默认情况下是禁用的，因为它阻止了 isort 去整理不同版本的Python代码。)

从Python内部：

import isort
isort.file("pythonfile.py")

或者：

import isort
sorted_code = isort.code("import b\nimport a\n")

3. 智能平衡格式化

从 isort 3.1.0 开始，添加了对平衡多行导入的支持。启用此选项后，isort 将动态地将导入长度更改为生成最平衡网格的长度，同时保持低于定义的最大导入长度。

开启了平衡导入的格式化：

from __future__ import (absolute_import, division,
                        print_function, unicode_literals)

未开启平衡的格式化：

from __future__ import (absolute_import, division, print_function,
                        unicode_literals)

要启用此设置，在你的配置设置 balanced_wrapping=True 或通过命令行添加 -e 参数执行整理。

4.跳过某个import

要使 isort 忽略单个 import，只需在包含文本的导入行的末尾添加注释 isort:skip，如下：

import module  # isort:skip

或者：

from xyz import (abc,  # isort:skip
                 yo,
                 hey)

要使 isort 跳过整个文件，只需添加 isort:skip_file 到文件的开头注释中：

""" 
my_module.py
Best module ever

isort:skip_file
"""

import b
import a

这个工具还是相当方便的，尤其是针对一些杂乱无章、多年沉淀下来的项目代码的 import 进行整理的时候，它会变得非常香。有需要的小伙伴可以赶快试一下。

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏

Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

Python 办公、开发工具

专属Python开发者的完美终端工具—Rich

2021年7月4日 Python实用宝典留下评论

Rich 是一个 Python 库，可以为你在终端中提供富文本和漂亮、精美的格式。

使用 Rich API 可以很容易的在终端输出添加各种颜色和不同风格。它可以绘制漂亮的表格，进度条，markdown，突出显示语法的源代码及回溯等等，优秀的功能不胜枚举。

我已经将本文全部示例存放在网盘中，在Python实用宝典公众号后台回复 rich示例 可以下载全部示例。

1.Rich 兼容性

Rich 适用于 Linux，OSX 和 Windows。可与新的 Windows 终端一起使用，Windows 的经典终端仅限 8 种颜色。

Rich 还可以与Jupyter NoteBook一起使用，而无需其他配置。

2.Rich 安装说明

开始之前，你要确保Python和pip已经成功安装在电脑上，如果没有，请访问这篇文章：超详细Python安装指南进行安装。

(可选1) 如果你用Python的目的是数据分析，可以直接安装Anaconda：Python数据分析与挖掘好帮手—Anaconda，它内置了Python和pip.

(可选2) 此外，推荐大家用VSCode编辑器来编写小型Python项目：Python 编程的最好搭档—VSCode 详细指南

Windows环境下打开Cmd(开始—运行—CMD)，苹果系统环境下请打开Terminal(command+空格输入Terminal)，输入命令安装依赖：

pip install rich

3.Rich 的 Print 功能

想毫不费力地将 Rich 的输出功能添加到你的Python脚本程序中，你只需导入 rich print 方法，该方法和其他 Python 的自带功能的参数类似。你可以试试：

from rich import print

print("Hello, [bold magenta]World[/bold magenta]!", ":vampire:", locals())

可以看到，基于 rich 的 print 方法输出的内容都是带颜色、带重点的，相比于Python自带的 print 有明显的优势。

4.自定义 Console 控制台输出

想要对 Rich 终端内容进行更多的自定义设置，你需要导入并构造一个控制台对象：

from rich.console import Console

console = Console()

Console 对象含有一个 print 方法，它的界面与 python 内置的 print 功能相似。你可以试试：

console.print("Hello", "World!")

你可能已经料到，这时终端上会显示“ Hello World！”，请注意，与内置的“打印”功能不同，Rich 会将文字自动换行以适合终端宽度。

有几种方法可以为输出添加自定义颜色和样式。你可以通过添加 style 关键字参数来为整个输出设置样式。例子如下：

console.print("Hello", "World!", style="bold red")

输出如下图：

这个范例一次只设置了一行文字的样式。如果想获得更细腻更复杂的样式，Rich 可以渲染一个特殊的标记，其语法类似于 bbcode。示例如下：

console.print("Where there is a [bold cyan]Will[/bold cyan] there [u]is[/u] a [i]way[/i].")

5.Console 控制台记录

Console 对象具有一个 log() 方法，该方法具有与 print() 类似的界面，除此之外，还能显示当前时间以及被调用的文件和行。

默认情况下，Rich 将针对 Python 结构和 repr 字符串进行语法突出显示。如果你记录一个集合（如字典或列表），Rich 会把它漂亮地打印出来，使其切合可用空间。下面是其中一些功能的示例：

from rich.console import Console
console = Console()

test_data = [
    {"jsonrpc": "2.0", "method": "sum", "params": [None, 1, 2, 4, False, True], "id": "1",},
    {"jsonrpc": "2.0", "method": "notify_hello", "params": [7]},
    {"jsonrpc": "2.0", "method": "subtract", "params": [42, 23], "id": "2"},
]

def test_log():
    enabled = False
    context = {
        "foo": "bar",
    }
    movies = ["Deadpool", "Rise of the Skywalker"]
    console.log("Hello from", console, "!")
    console.log(test_data, log_locals=True)


test_log()

以上范例的输出如下：

注意其中的 log_locals 参数会输出一个表格，该表格包含调用 log 方法的局部变量。

log 方法既可用于将长时间运行应用程序（例如服务器）的日志记录到终端，也可用于辅助调试。

Logging 处理程序

你还可以使用内置的处理类来对 Python 日志记录模块的输出进行格式化和着色。下面是输出示例：

6. 表情符号

将名称放在两个冒号之间即可在控制台输出中插入表情符号。示例如下：

>>> console.print(":smiley: :vampire: :pile_of_poo: :thumbs_up: :raccoon:")
😃 🧛 💩 👍 🦝

请谨慎地使用此功能。

7.表格

Rich 包含多种边框，样式，单元格对齐等格式设置的选项。下面是一个简单的示例：

from rich.console import Console
from rich.table import Column, Table

console = Console()

table = Table(show_header=True, header_style="bold magenta")
table.add_column("Date", style="dim", width=12)
table.add_column("Title")
table.add_column("Production Budget", justify="right")
table.add_column("Box Office", justify="right")
table.add_row(
    "Dev 20, 2019", "Star Wars: The Rise of Skywalker", "$275,000,000", "$375,126,118"
)
table.add_row(
    "May 25, 2018",
    "[red]Solo[/red]: A Star Wars Story",
    "$275,000,000",
    "$393,151,347",
)
table.add_row(
    "Dec 15, 2017",
    "Star Wars Ep. VIII: The Last Jedi",
    "$262,000,000",
    "[bold]$1,332,539,889[/bold]",
)

console.print(table)

该示例的输出如下：

请注意，控制台标记的呈现方式与 print() 和 log() 相同。实际上，由 Rich 渲染的任何内容都可以添加到标题/行（甚至其他表格）中。

Table 类很聪明，可以调整列的大小以适合终端的可用宽度，并能根据需要做文本环绕的处理。下面是相同的示例，输出与比上表小的终端上：

8.进度条

Rich 可以渲染多个不闪烁的进度条形图，以跟踪长时间运行的任务。

基本用法：用 track 函数调用程序并迭代结果。下面是一个例子：

from rich.progress import track

for step in track(range(100)):
    do_step(step)

添加多个进度条并不难。以下是效果示例：

这些列可以配置为显示你所需的任何详细信息。

内置列包括完成百分比，文件大小，文件速度和剩余时间。下面是显示正在进行的下载的示例：

它可以在显示进度的同时下载多个 URL。要自己尝试一下，请参阅示例文件中的 examples/downloader.py ，在Python实用宝典公众号后台回复 rich示例下载全部示例。

9.按列输出数据

Rich 可以将内容通过排列整齐的，具有相等或最佳的宽度的列来呈现。下面是（macOS / Linux）ls 命令的一个非常基本的克隆，用列来显示目录列表：

import os
import sys

from rich import print
from rich.columns import Columns

directory = os.listdir(sys.argv[1])
print(Columns(directory))

以下屏幕截图是列示例的输出，该列显示了从 API 提取的数据：

10.Markdown

Rich 可以呈现markdown，相当不错的将其格式显示到终端。

为了渲染 markdown，请导入 Markdown 类，将其打印到控制台。例子如下：

from rich.console import Console
from rich.markdown import Markdown

console = Console()
with open("README.md") as readme:
    markdown = Markdown(readme.read())
console.print(markdown)

该例子的输出如下图：

11.语法突出显示

Rich 使用 pygments 库来实现语法高亮显示。用法类似于渲染 markdown。构造一个 Syntax 对象并将其打印到控制台。下面是一个例子：

from rich.console import Console
from rich.syntax import Syntax

my_code = '''
def iter_first_last(values: Iterable[T]) -&gt; Iterable[Tuple[bool, bool, T]]:
    """Iterate and generate a tuple with a flag for first and last value."""
    iter_values = iter(values)
    try:
        previous_value = next(iter_values)
    except StopIteration:
        return
    first = True
    for value in iter_values:
        yield first, False, previous_value
        first = False
        previous_value = value
    yield first, True, previous_value
'''
syntax = Syntax(my_code, "python", theme="monokai", line_numbers=True)
console = Console()
console.print(syntax)

输出如下：

12.错误回溯(traceback)

Rich 可以渲染漂亮的错误回溯日志，比标准的 Python 回溯更容易阅读，并能显示更多代码。

你可以将 Rich 设置为默认的回溯处理程序，这样所有异常都将由 Rich 为你呈现。

下面是在 OSX（与 Linux 类似）上的外观：

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏

Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

Python 办公、工具

什么是m3u8格式? Python合并ts文件至mp4格式及解密教程

2021年6月29日 Python实用宝典留下评论

ｍ3u8是什么格式？m3u8是苹果公司推出的视频播放标准，是m3u的一种，只是编码格式采用的是UTF-8。使用m3u8格式文件主要因为可以实现多码率视频的适配，视频网站可以根据用户的网络带宽情况，自动为客户端匹配一个合适的码率文件进行播放，从而保证视频的流畅度。

m3u8准确来说是一种索引文件，使用m3u8文件实际上是通过它来解析对应的放在服务器上的视频网络地址，从而实现在线播放。它将视频切割成一小段一小段的ts格式的视频文件，然后存在服务器中（现在为了减少I/o访问次数，一般存在服务器的内存中），通过m3u8解析出来路径，然后去请求。

合并 ts 文件其实有很多种方法，有一些教程直接使用 cmd 的 copy 命令直接合并 ts 文件：

copy /b  movie*.ts movie_new.ts

这个方法虽然可以合并，但是无法转化为 mp4 格式，而且也有可能出现视频缺损的情况。因此本文将讲解如何使用 ffmpeg 合并 ts 文件为mp4格式，使用 ffmpeg 也能有效防止视频出现缺损的问题。

1.准备

开始之前，你要确保Python和pip已经成功安装在电脑上，如果没有，请访问这篇文章：超详细Python安装指南进行安装。

(可选1) 如果你用Python的目的是数据分析，可以直接安装Anaconda：Python数据分析与挖掘好帮手—Anaconda，它内置了Python和pip.

(可选2) 此外，推荐大家用VSCode编辑器来编写小型Python项目：Python 编程的最好搭档—VSCode 详细指南

安装ffmpeg

Mac (打开终端(Terminal), 用 homebrew 安装):

brew install ffmpeg --with-libvorbis --with-sdl2 --with-theora

Linux:

apt-get install ffmpeg libavcodec-extra

Windows:

1. 进入 http://ffmpeg.org/download.html#build-windows，点击 windows 对应的图标，进入下载界面点击 download 下载按钮，
2. 解压下载好的zip文件到指定目录
3. 将解压后的文件目录中 bin 目录（包含 ffmpeg.exe ）添加进 path 环境变量中
4. DOS 命令行输入 ffmpeg -version, 出现以下界面说明安装完成：

2.简单合并ts文件

使用 ffmpeg 合并一些 ts 文件非常简单，你只需要在终端输入一行命令即可：

ffmpeg -f concat -i file_list.txt -c copy output.mp4

其中 file_list.txt 为如下格式文本文件：

      file 'input1.ts'
      file 'input2.ts'
      file 'input3.ts'

我们可以用 Python 脚本生成这个 file_list.txt:

import os
filePath = "你的ts视频存放路径"
file_list = sorted(os.listdir(filePath))
with open("你的ts视频存放路径/file_list.txt","w+") as f:
    for file in file_list:
        f.write("file '{}'\n".format(file))

注意，这个 file_list.txt 需要和你的 ts 视频存放在同一个目录下，然后 cd 进入此目录，并执行上面提到过的 ffmpeg 合并转换命令：

ffmpeg -f concat -i file_list.txt -c copy output.mp4

3.解密处理

上面我们讲的是没有经过加密的 ts 文件，这些文件下载后直接可以播放，但经过AES-128加密后的文件下载后会无法播放，所以还需要进行解密。

如何判断是否需要加密？观察视频网站是否有m3u8的文件传输，下载下来并打开：

#EXTM3U
#EXT-X-VERSION:3
#EXT-X-TARGETDURATION:13
#EXT-X-MEDIA-SEQUENCE:0

//这里是注释，真实文件里不会有的，
//看看你的m3u8文件里有没有这一行，如果有的话，这个m3u8文件是加密的，请继续往下看
//如果没有这行的话，特别是没有这个#EXT-X-KEY，那么恭喜你，这个m3u8没有加密，你直接按本文教程第二点合并即可
#EXT-X-KEY:METHOD=AES-128,URI="http://www.example.com/20180125/key.key"


#EXTINF:12.5,
//下面的这个其实才是视频真正的地址，你放在浏览器地址栏上直接回车是可以直接下载的
//不过这样的链接在m3u8文件里会有很多，建议使用工具下载（迅雷）、ffmpeg、vlc等
//这里还可能出现GBDYO3576000.ts这种情况，其实是把前面的路径省略了，可根据m3u8文件的路径自行加上
http://www.example.com/20180125/GBDYO3576000.ts
#EXTINF:12.5,
http://www.example.com/20180125/GBDYO3576001.ts
#EXTINF:12.5,
http://www.example.com/20180125/GBDYO3576002.ts

如果你的文件是加密的，那么你还需要一个key文件，Key文件下载的方法和m3u8文件类似，如下所示 key.key 就是我们需要下载的 key 文件，并注意这里 m3u8 有2个，需要使用的是像上面一样存在 ts 文件超链接的 m3u8 文件：

下载所有 ts 文件，将下载好的所有的 ts 文件、m3u8、key.key 放到一个文件夹中，将 m3u8 文件改名为 index.m3u8，将 key.key 改名为 key.m3u8 。更改 index.m3u8 里的 URL，变为你本地路径的 key 文件，将所有 ts 也改为你本地的路径，如下所示：

#EXTM3U
#EXT-X-VERSION:3
#EXT-X-TARGETDURATION:13
#EXT-X-MEDIA-SEQUENCE:0
#EXT-X-KEY:METHOD=AES-128,URI="e:/20180125/key.m3u8"
#EXTINF:12.5,
e:/20180125/GBDYO3576000.ts
#EXTINF:12.5,
e:/20180125/GBDYO3576001.ts
#EXTINF:12.5,
e:/20180125/GBDYO3576002.ts

然后用ffmpeg进行合并：

ffmpeg -allowed_extensions ALL -i index.m3u8 -c copy new.mp4

这样就大功告成了！我们成功解密并使用 ffmpeg 合并了这些 ts 视频片段，实际应用场景可能和这不一样，希望我们这篇文章能起到抛砖引玉的作用。

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏

Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

Python 办公、蓝鲸智云、运维

智能监控时代 – 5步道出监控建设之道

2021年6月27日 Python实用宝典

在正式阅读本文之前，我们先思考一个问题-几乎每个IT公司都有一套自己的运维监控系统，每家公司的运维都在做监控系统，而似乎每家都在面临一个问题，监控系统不好用，不能解决实际的监控问题，有没有更好的监控系统呢？答案是有的，本文将为您揭晓谜底。

1.什么是监控-凡事预则立不预则废

运维曰：监控，业务之大事，死生之地，存亡之道，不可不察也。

监控的建设，不亚于一场战争的准备，无论是使用监控的用户，还是建设监控的人员，都是面临着监控是否好用、好使的现实挑战。因此，我们必须充分认识并理解监控。

监控(Monitoring)，顾名思义，一是监测，二是控制，重点在第一个字眼“监”上，即监测、预防的意思。在计算机运维领域，特指对目标状态进行数据采样，从而判断其运行状态的一种方式，通常我们会关注以下监控数据。

在本文中，我们重点探讨后4种监控，因APM属于特定领域监控，此处不详细展开论述。那么，既然用户关心如此多的监控数据，如何建设符合业务需求的监控呢？是不是存在一款监控系统，就完全能够满足用户的监控需求呢？

2.监控建设的现状-千里之行始于足下

监控平台的建设，是一个长期的过程，而非一蹴而就。总体而言，有四种玩法，一是基于开源监控平台搭建，二是使用商业平台搭建，三是二次开发开源产品，四是完全自主研发。而每种玩法，均有自己的特点和其局限。

1.基于开源监控软件搭建监控平台，可选Nagios，Cacti，Ganglia，Zabbix，Graphite，Prometheus，TIGK(Telegraf、InfluxDB、Grafana、Kapacitor)等，通常只需要将开源软件部署起来，然后丰富采集数据即可。其特点是开源，社区解决方案众多，可以自由定制。

2.基于商业软件搭建监控平台，在监控的商业领域，以前基本都是国外公司的天下，如IBM，HP，卓豪等，但随着本土基础设施厂商的崛起，国产厂商奋发图强，出现了一些优秀的商业监控软件，如云智慧，监控易，OneAPM等，以及一些专有场景的监控软件。其特点是只要花钱，就可以实现相应的监控服务，免去了监控构建的重复摸索，适合于监控场景较复杂，缺少人力，又急需监控解决方案的项目。

3.基于开源软件二次开发搭建监控平台，开源软件本身具备完备的功能，如提供API，提供数据查询接口，可以通过API进行管控等，如基于Zabbix、Prometheus、Open-falcon等的二次开发，可以实现完备的监控功能和友好的管理功能。其特点是可以按需扩展监控采集源，按需集成，自由定制，不满足于已有软件提供的功能，可以按场景灵活定制，建议在“花钱买服务不能解决问题”的情况下而为之。

4.基于自主研发，从零开始构建监控平台，这是一个庞大的工程，对技术和工程管理都是个不小的挑战。为何需要自主从头开始研发一个监控系统，原因可能有以下几个，1.市面监控软件无法满足其业务需求，功能上不够用，性能上不满足，管理上不足以支撑其业务和组织架构的发展；2.生态上无法满足业务发展需求；3.基于开源软件二次开发版权存在风险，受制于他人；4.业务需要，管理层支持，技术人员充足，天时地利人和均具备。其特点是开发周期长，目标期望与现实差距，开发速度和业务发展速度能否及时跟进，稍有不慎就有软件项目失控风险，考验的是项目管理水平和工程实现能力。

从上面四种方式来看，其实现成本从低到高，从易到难，而具体采用什么方式，需要根据实际情况定夺，那么，主要取决于什么呢？人力、物力、财力，还和公司所处的阶段有密切关系。

如公司刚起步，追求速度和成本，则花半天时间搭建一个开源监控系统，则不失为明智选择，具体选择哪款开源软件，则可以选择自己最熟悉的，使用人群最多的。而公司已初具规模，业务需求较多，选择商业监控软件和基于开源二次开发，则可以根据具体业务需求进行详细评估，规则是，花多少成本，换取多少收益，还需考虑收益是长期的，还是短期的。

当公司发展到一定规模，其组织架构和业务需求，决定了软件架构需求，因此此时的监控系统，也必须具备这种能力，因此这个时候，建设基础设施不仅仅是业务需求和产品能力那问题，而是战略规划紧密关联的问题，所以选择完全自主开发，还是选择商业、开源优良产品二次开发，均是可选方向，取决于技术储备和组织的执行力,天时地利人和缺一不可。

诚如“孙子曰：凡用兵之法，驰车千驷，革车千乘，带甲十万，千里馈粮，则内外之费，宾客之用，胶漆之材，车甲之奉，日费千金，然后十万之师举矣。”，对应监控的自主开发，需要项目，产品，设计，开发，测试，运维，运营等多种人员共同参与，然后历经数月，出demo，测试验证，经过一个又一个的迭代，然后十万服务器可监控之。自主开发耗费人力物力财力，犹如一场战争的准备，不可轻举妄动，要详细周密的规划方可行动。

3.监控建设的挑战-吾将上下而求索

在第2节中，我们探讨了监控建设方案选型问题，那么，除了上面提到的问题，我们在建设过程中还会有哪些问题呢？

1.系统关键指标缺失

监控建设从来都是一个持续的过程，没有一劳永逸的解决方案。在持续不断的监控运维中，我们不断去丰富和完善相关监控，常见的系统和应用层面的监控指标如下所示。

从上图中我们可以看到，监控的具体使用用户对监控指标的采集是非常宽泛的，不管是市面哪款监控系统，其提供的默认监控指标，可能是无法满足实际的场景需求。随着监控系统的持续运营和业务不断发展，采集更多监控指标的需求会越来越迫切，因此，我们希望监控系统能够提供自由扩充和灵活定制的能力。

2.功能扩展困难重重

在持续的监控系统建设过程中，我们根据实际需求不断地完善采集指标。因此，监控平台是不是原生支持多种采集方式，可能会限制我们能力的发挥，比如监控网络、存储等硬件设备，我们就必须使用SNMP协议来获取监控指标数据，这应该是平台自带的一个基本能力。如果还要我们自己去从零实现，就相当于写了一个小型的监控软件。因此，这个监控系统应该提供扩展能力，要么是代码开源，要么是接口开放，我们可以根据实际需求去扩展模块和组件，从而达到我们业务不断发展的需求。

监控指标的不断扩充，指标数据需要存储的数据量也会越来越大，此时，对监控系统的QPS，就有非常高的要求。监控系统能否支持高并发的请求，直接就决定了这个监控系统能否使用。试想，如果一个监控系统三天两头出问题，那么用户可能就会流失，甚至是放弃这个监控系统的使用，转而去寻求更好的解决方案。

监控用户的使用过程中，对监控平台的期望SLA可能是100%，而实际能达到的SLA可能是99.9%(每年停机约9小时)。随着业务和技术的不断发展，监控用户对监控系统的要求也越来越高，SLA能不能再继续提高呢？

实际上，SLA的提高1个9，对系统的挑战都是非常大的，比如我们的架构是否支持，架构设计是否合理，架构有没有冗余，能不能支持水平横向扩容，存不存在单点故障，服务器资源是否足够，系统的并发是否是一条直线，等等众多的因素，直接决定了我们提供的监控系统SLA能否再继续提高。理想情况是，架构有冗余，当链路出现故障时，能够自动切换，能够有备机顶替；当容量出现不足时，能够加服务器就扩容，而能够自动负载均衡。

所以，我们在设计监控系统的时候，一定要学习互联网架构中的高并发，高可用，分布式架构设计方案。此后，无论是增加功能模块，或者是系统的整体升级，有了架构上的保障，可以做到按需进行升级扩展，而不用担心系统可用性问题，升级变更扩展对用户都是无感知的。

3.系统可靠性毫无保障

当监控的主机规模达到5000设备，1万设备的时候，一般监控系统会出现瓶颈，系统的QPS持续增长，能否支撑7*24小时、365天稳定运行，是一个非常大的挑战，可以说，监控系统从来都是一个高并发系统，同时，也是一个大数据库系统，比如日增5T，10T，50T的数据，并且要求详细历史数据，保存周期需要7天，30天，甚至是1年，而趋势数据(将历史数据进行归档，如按小时的max,min,avg存储)则要求保留1年，2年或者是更久，那么监控系统的数据可能达到PB数据级别，其数据处理之道，和海量的大数据处理系统，有异曲同工之妙，采集->清洗->分析->入库->使用。

数据上报延迟，大致的原因有三个，一是采集器出现的问题，无法按照既定的周期采集到数据，或因原始数据不存在，或因采集器达到本身性能上限问题；二是监控系统的清洗，处理分析环节出现堵塞，表现为采集上报正常，数据未入库；三是数据处理后，不得正常入库，即为监控的数据库存在问题，表现为数据写入慢，查询慢，超过数据库的上限。这3种情况，不论是哪种情况，对用户来说，都是不可用的。

不误报，不漏报，不延迟，这是对监控系统的基本要求。误报就是数据处理出现问题，让用户降低对监控的信任感，如果长期存在误报情况，那么用户就会失去对监控的信任，逐步抛弃此监控系统。漏报就是本该发出的告警而没有发送出来，这种情况就更严重了，严重影响了用户的正常使用，严重降低了用户的预期，宛如晚点的飞机，不能准时达到目的地。延迟就是告警现在产生，明天才收到，这个情况说明监控系统已处于不可用状态。在本该故障的时候，告警收不到，在故障结束时，告警发出来，用户会完全不信任这个监控系统。如果监控系统连告警这个基本事情都做不好，那么算不上一个合格的监控系统，用户会将这个监控系统当做一个噪音对待。

当我们把数据上报，告警问题都解决后，系统能够正常工作，又会面临新的问题。用户反馈，能不能将告警做得更智能一点呢？试想一下，告警模块正常工作，用户每天收到1000条告警，甚至收到10000条告警，用户也会疯掉，这简直就是告警“轰炸机”，过多的告警，成为了噪音，干扰正常判断。因此，告警能否收敛的问题，成为了头等大事。

告警收敛，是指将多条策略相同、目标范围不同的告警进行合并发送，按照一定的规则进行收敛的一种告警发送方式。比如，我们一个云区域的网络故障，会造成该区域下所有设备不可达，那么ping不可达告警，则会逐条发送，如果该区域下1000条机器，是发送1条告警好呢？还是1000条好呢？相信绝大多数正常人会只想接收1条重要告警即可。告警收敛，将告警极大提高告警的精确性，真正让我们做到运筹帷幄之中而不慌乱，不至于让我们天天神经紧张，天天处于狼来了的局面，因为过多的告警，有温水煮青蛙效应，让我们会逐步失去对告警的敏感度，逐渐会因为过多的告警而完全不关注告警。

有了告警收敛，是不是就可以高枕无忧了呢？不，我们还需要故障关联，故障自动分析，为什么需要这个功能呢？试想，一个机架掉电，引起了15台设备全部宕机，从而引发了一系列故障，如API超时，HTTP拨测失败，DB连接数增长，那么能否找到root-cause呢？能否提供一条重要告警帮我们自动分析故障的根因呢？此时，故障关联和故障自动分析，显得格外重要。所以，监控系统，必须具备故障关联分析的能力，为我们的运维决策提供更准确的信息。

此外，监控系统能否对当前环境的性能进行分析，对系统容量分析，也将是一个重要能力，如对趋势预测，什么时候我们应该对业务进行扩容服务器，什么时候应该进行缩容服务器，当前的性能是否足够，是否还有优化的空间。而监控系统，因为有数据存在，是完全可以提供这一系列数据作为重要依据的。

4.技术落后于业务发展

随着业务不断发展，组织架构会根据业务形态进行调整，不同人员，需要对应不同的权限，需要划分更多角色，如超级管理员，分级管理员，普通管理员，普通用户，甚至于针对菜单按钮级别更细粒度权限管控需求。如果监控系统一开始没有考虑到这些需求，则很难应对业务的增长需求。随着业务的发展，公司为了降低成本，可以将一些常规事项外包出去，此时，对权限的分级控制显得格外重要。在这个时候，监控系统不再是一个孤立的系统，必须和统一用户登录认证系统集成，实现配置，查询分离，才能够满足组织的业务发展。

随着业务不断发展，业务对监控系统提出了更高要求，比如要求“微秒级监控数据采样”，要求“秒级告警”，要求监控系统提供100%可靠信息，根据监控系统提供的系统容量指标数据，对业务应用的目标服务器、容器进行扩容或者缩容。监控系统作为一个底层依赖系统，此时将发挥更大价值。

4.智能监控建设的实践-纸上得来终觉浅

在建设监控系统的时候，我们清楚以上的问题所在，那么，我们是如何解决以上这些问题的呢？下面，我们来详细看看具体的实践。

1.降低使用门槛-开箱即用

对于服务器设备，系统初始化后，默认就安装了Agent，无需任何配置，就可以采集到主机监控数据，如在CMDB中配置了进程信息，则会采集进程状态数据。

其中进程指标基本的如下所示

2.和告警风暴说再见

当主机默认接入后，即可自动添加默认告警策略，如达到阈值，即可产生告警，如下所示，是一些默认告警策略。

为了防止告警过多对用户造成干扰，我们使用了四大锦囊法宝，确保用户收到的告警是有效的。

锦囊一-告警收敛。如下所示的事件中，可以看到收敛规则有效减少了告警事件收敛，产生的事件和通知比例1:100,甚至更高。从设计上原生支持的告警收敛功能，有效阻止了告警风暴产生。

锦囊二-告警抑制。通常，由于用户不同的实际需求，会对同一告警内容配置不同的阈值。比如配置磁盘空间使用率告警，有80%预警，90%警告，95%严重，那么这3条策略如何工作呢？假如当前磁盘空间使用率已经达到96%，是产生3条告警通知吗？实际情况中，如果监控系统产生了3条告警，那这个监控系统就会被用户认为是智障了。所以，对于同纬度的策略，我们只会发送告警级别的告警，即只会产生95%严重级别的告警通知。

锦囊三-告警汇总。既使我们的监控系统已经有了告警收敛，告警抑制这两大功能，我们依然不能解决同一时间发送大量告警问题，比如多条告警规则同时满足，那么还是可能产生告警洪水风暴问题。因此，对于告警汇总功能，实在是有必要。对于同一时候涌入的大量告警，对于同维度的告警进行汇总，对于不同策略，则进行合并告警。有了告警汇总功能，我们就可以放心接收告警了。

锦囊四-告警分析。通过对历史告警数据的挖掘分析，我们还可以找到异常告警，以便更好的分析原始数据和告警阈值，从而为告警配置和无阈值告警提供更好的数据支撑。

3.功能扩展容易-即插即用

4.用户权限控制-按需授权

按监控提供的功能进行查看和管理两种基本的划分，一般来说有如下几个用户场景：

告警通知的接收者：如运维，开发，测试，产品等。适用申请查看类和屏蔽类操作。
监控的配置者：如运维。适用于申请查看+管理类操作。
监控平台的管理者：适用于全局的功能。

5.自动化筑基石-效率优先

有别于其他的监控系统，定义采集，直接在系统中就可以完成，无需使用其他第三方控制系统或者登录服务器部署。所有的配置都能够在界面上完成，包括插件编写，我们只需要打开页面制作插件即可。

动态采集目标，当模块中的主机有增加或减少的时候，可以自动下发插件到目标机器，而无法人工部署采集插件。

同理，告警策略中的目标范围也是自动匹配，而不用对新增加的主机或模块进行策略编辑，范围自动生效。

5.监控建设的总结-身经百战忆往昔

在监控平台的建设过程中，经过不断实践，不断总结经验，监控平台建设的功能会逐步成熟，但是，如果只把监控平台当做核心目标来建设，会遇到非监控本身的问题，比如怎么将发布和监控结合，如何在发布期间屏蔽告警。如何让监控联动CMDB，怎么打通监控系统和运维自动化系统，怎么打通监控与流水线发布系统，怎么打通监控和运维的各个环节？这个问题，不是独立的一个监控系统能解决的，而是需要一个可扩展的可定制的运维平台才能解决的。

回顾监控体系的建设，我们总结如下的经验：

1.确定目标，搞清楚需求，请不要盲目行动，仔细分析业务需求，然后选择相应的监控方案，指定清晰的业务需求规划和项目规划，弄清楚是需要一个烟囱式监控系统还是一个互通有无的运维平台体系。

2.尽量使用成熟稳定的开源平台，如考虑使用Zabbix、Pormetheus等，如果监控规模过大，可能会存在性能和其他使用方面问题。这里，笔者推荐选择使用蓝鲸[5]这样成熟稳定的平台，则可以很好的解决容量和性能问题，因为蓝鲸平台是天然支持海量并发场景，能够水平扩容，遇到了容量不够的问题，也只需要扩容对应的服务模块即可。

3.伴随着业务不断的发展和技术的不断迭代更新，监控系统也会不断优化总结，迭代更新。因此，没有一劳永逸的方案，只有不断的动态发展平衡。

4.要从软件设计者的角度去做监控系统，面对监控需求，从现象到本质去更好的满足使用场景，而不是仅仅作为一个工具，因为监控和运维是密切关联的，是需要从数据生产到消费，再到分析关联，为运维的目标-“提效、提质、提能”而添砖加瓦。

因此，运维曰：监控，业务之大事，死生之地，存亡之道，不可不察也。

体验地址

如需下载体验，可点击下方监控日志套餐下载按钮。

监控日志套餐需在基础套餐上运行。

蓝鲸社区版V6.0.3正式版

基础套餐：点击下载
监控日志套餐：点击下载
容器管理套餐：点击下载
持续集成套餐：敬请期待

部署福利活动：点击跳转

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏

Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

Python 办公、网站设计

教你部署开源的超漂亮电子商城 — Saleor 实战教程

2021年6月8日 Python实用宝典留下评论

Saleor 是一个快速发展的开源电子商务平台，基于 Python 和 Django开发，且持续更新中，一点不用担心版本过旧的问题。

它的特点如下：

1.GraphQL API：基于GraphQL实现的前后端分离，属于最前沿的技术。
2.仪表板：管理员可以完全控制用户、流程和产品。
3.订单：订单、发货和退款的综合系统。
4.购物车：高级付款和税收选项，支持折扣和促销活动
5.支付：灵活的 API 架构允许集成任何支付方式。
6.地理自适应：自动支持多国家的结账体验。
7.支持云部署：支持Docker部署。
8.支持谷歌分析：集成了谷歌分析，可以很方便地分析流量去留。

Saleor 仓库地址：
https://github.com/mirumee/saleor

1.Saleor 部署指南

Saleor支持多种运行方式，你可以采用手动安装并运行的方式，也可以使用Docker进行运行，下面介绍全平台通用且最简单的Docker部署方案。

在按照以下说明操作之前，你需要安装Docker Desktop和Docker Compose。

Docker 部署 Saleor 非常方便，你只需要克隆存储库并构建镜像然后运行服务即可：

# Python 实用宝典
# 克隆存储库
git clone https://github.com/mirumee/saleor-platform.git --recursive --jobs 3
cd saleor-platform
# 构建Docker镜像
docker-compose build

如果你无法成功克隆 Salor 源代码仓库，请在Python实用宝典公众号回复：Saleor 下载全部源代码。

Saleor 使用共享文件夹来启用实时代码重新加载。如果你使用的是Windows或MacOS，则需要：

1.将克隆的 saleor-platform 目录放置到 Docker 的共享目录配置 (Settings -> Shared Drives or Preferences -> Resources -> File sharing)。

2.确保在 Docker 首选项中你有至少 5 GB 的专用内存（设置 -> 高级或 首选项->资源 -> 高级）

执行数据库migrations及打包前端资源：

docker-compose run --rm api python3 manage.py migrate
docker-compose run --rm api python3 manage.py collectstatic --noinput

（可选）使用示例数据填充数据库：

docker-compose run --rm api python3 manage.py populatedb

最后，为自己创建一个管理员帐户：

docker-compose run --rm api python3 manage.py createsuperuser

运行服务:

使用以下命令运行Saleor:

docker-compose up

2.Saleor 架构介绍

如果你要基于 Saleor 进行开发，那么你必须了解它的架构。

Saleor 由三个重要组件组成：

1.Saleor Core, 它是GraphQL API的后端服务器。基于Django开发，数据库采用了PostgreSQL并在Redis中储存了一些缓存信息。

2.Saleor Dashboard, 这是一个可以用来经营商店的仪表盘，它是一个静态网站，因此没有任何自己的后端代码，它是一个与Saleor Core核心服务器对话的React程序。

3.Saleor Storefront, 这是基于React实现的示例商店，你可以自定义这部分代码满足你自己的需求，也可以使用 Saleor SDK 构建自定义店面。

所有三个组件都使用 GraphQL 通过 HTTPS 进行通信。

3.Saleor 扩展开发教程

虽然你可以直接基于Saleor源代码进行开发，但是官方建议不这么做，原因是一旦你的代码和Saleor官方源代码产生冲突，你就很难跟上官方的更新，最终会导致代码没人维护的尴尬局面。

因此Saleor提供了两种添加功能的方式：

1.插件功能：插件提供了一种在Saleor Core上运行附加代码的能力，而且有访问数据库的能力。

2.APPS：基于GraphQL API和Saleor Core开发APP，还可以使用WebHooks订阅事件。

下面我们介绍如何基于插件进行扩展开发。

如上图所示，Saleor Core 提供了一种回调通知事件给插件，插件基于此事件进行相关操作，并与数据库进行交互。

开发插件，你必须继承 BasePlugin 基类，然后重写部分方法，比如下面这个例子重写了 postprocess_order_creation 方法，增加了订单创建时的一些操作：

# Python实用宝典
# custom/plugin.py

from django.conf import settings
from urllib.parse import urljoin

from ..base_plugin import BasePlugin
from .tasks import api_post_request_task


class CustomPlugin(BasePlugin):
    def postprocess_order_creation(self, order: "Order", previous_value: Any):
        # 订单创建时的操作
        data = ...

        transaction_url = urljoin(settings.CUSTOM_API_URL, "transactions/createoradjust")
        api_post_request_task.delay(transaction_url, data)

加载插件， 需要在 setup.py 进行配置来自动发现已安装的插件。要使插件可被发现，你需要设置 entry_points 的 saleor_plugins 字段, 并使用这个语法定义插件：package_name = package_name.path.to:PluginClass.

示例如下：

# setup.py
from setuptools import setup

setup(
    ...,
    entry_points={
        "saleor.plugins": [
            "my_plugin = my_plugin.plugin:MyPlugin"
        ]
    }
)

如果你的插件是 Django 应用程序，包名（等号前的部分）将被添加到 Django 的 INSTALLED_APPS 中，以便你可以利用 Django 的功能，例如 ORM 集成和数据库迁移。

注意到我们前面订单创建时的操作使用了 .delay 的语法，这是 Celery 的异步任务。因为有些插件的操作就应该异步完成，Saleor 使用 Celery 并将发现 tasks.py 在插件目录中声明的所有异步任务：

# custom_plugin/tasks.py

import json
from celery import shared_task
from typing import Any, Dict

import requests
from requests.auth import HTTPBasicAuth
from django.conf import settings


@shared_task
def api_post_request(
    url: str,
    data: Dict[str, Any],
):
    try:
        username = "username"
        password = "password"
        auth = HTTPBasicAuth(username, password)
        requests.post(url, auth=auth, data=json.dumps(data), timeout=settings.TIMEOUT)
    except requests.exceptions.RequestException:
        return

上面这个 api_post_request 函数就是前面插件用到的异步任务，在插件调用delay方法后，这个任务将被塞到队列中异步执行。

好了，上面就是一个简单的插件开发例子，个人认为Saleor的开发模式还是很不错的。如果大家有需要，可以采用这个项目构建一个属于自己的商城。

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏

Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

github、Python 办公

Pyzbar 两步批量识别快递单号条形码实战教程

2021年6月7日 Python实用宝典

这是Python改变生活系列的第三篇，讲到了如何通过Python的pyzbar批量识别快递单号的条形码，以提高我们的生活工作效率，这是一篇实战教程。

1.识别快递单号的前情提要

了解我的小伙伴可能都知道，小五经常给大家送书。最近一年，不算联合抽奖送书，单独我自购+出版社赞助已送出1000本书籍。

如果是自购的话，还需要自己联系快递小哥寄出书籍。

寄出后快递小哥会给我截图来反馈，然而我想要单号的时候就遇到问题了。

每次寄完书，我都只能得到n个截图（内含快递信息）。

为了及时反馈大家物流信息，我需要尽快将快递单号提取出来。

2.思考解决办法

每次大概都有十几到几十张截图，手动去识别真的太麻烦。

不如先看看每张截图大概是什么样子，再去想想批量处理的办法吧。

主要是为了批量获取图片中的快递单号，我想到了两个解决办法：

用python识别条形码来直接获得准确快递单号
用python调用ocr，识别截图中的快递单号文字

大家觉得哪个更简单更准确呢？

今天我先聊聊第一种方法的流程和踩坑经历。

3.实战教程-遍历图片

首先，第一步需要先获取文件夹中的所有截图，再依次进行条形码识别。

具体操作可以参考注释

import os

def get_jpg():
    jpgs = []
    path = os.getcwd()
    for i in os.listdir(path):  #获取文件列表
        if i.split(".")[-1] == "jpg":  #筛选jpg文件（截图）
            oldname=os.path.join(path,i)  #旧文件名
            i = i.replace('微信图片_','')
            newname=os.path.join(path,i)  #新文件名
            os.rename(oldname,newname)  #改名
            jpgs.append(i)
    return jpgs

上面的代码中除了遍历筛选图片，还涉及了改名的操作。

这是因为我在后面使用 opencv 时，打开的路径只要含有中文就会一直报错，于是我就干脆把截图名称里的中文去除。

执行构建的get_jpg()函数，得到

这些就是演示文件中的四个截图文件，下面开始对他们进行识别。

4.实战教程-识别条形码

python的第三方模块 pyzbar 可以很方便地处理二维码的识别。我们这次用它来识别一维条形码的话，用法也大致一样。不过还要搭配 cv2 使用，主要是为了利用cv2.imread()来读取图片文件。

注意：对于cv2模块，安装时需要输入pip3 install opencv-python，但在导入的时候采用import cv2。

识别条形码的具体语句如下所示：

import pyzbar.pyzbar as pyzbar
import cv2

def get_barcode(img):
    image = cv2.imread(img)
    barcodes = pyzbar.decode(image)
    barcode = barcodes[0]
    barcode_data = barcode.data.decode("utf-8")
    return barcode_data

上面构建的get_barcode()函数可以实现识别条形码，并返回结果数据。

我们可以用for循环遍历前文获取的所有图片，再依次使用get_barcode()函数来识别条形码。

data_m =[]
for i in jpgs:
    data = get_barcode(i)
    data_m.append(data)
data_m

可以发现，成功识别了四张截图里的条形码，并获取了对应的快递单号。

小结

回顾今天的问题案例，我先通过思考想出了两种解决办法。第一种的优点是识别条形码比OCR更准确，但是其只获取了快递单号。后续在给获得赠书的同学反馈时，我还需要手动将名字和单号对应，不够偷懒。后续将给大家介绍第二种方法的流程和优缺点。

如果想看更多python改变生活的真实问题案例，给本文右下角点个赞吧👍

如果你也有一直想用python解决的问题，欢迎在评论区告诉我🚀

本文转自快学Python。

我们的文章到此就结束啦，如果你喜欢今天的Python 实战教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应红字验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

点击下方阅读原文可获得更好的阅读体验

Python实用宝典 (pythondict.com)
不只是一个宝典
欢迎关注公众号：Python实用宝典

1.准备

2.Delorean 基础使用

3. Delorean 高级使用

1. 安装和使用

2. 使用本程序

3. 使用上出现问题

1.安装

2.用法和示例

3. 可视化依赖树

1.安装

2.使用示例

3.Web 界面

1.准备

2.使用 isort 整理你的python引用

3. 智能平衡格式化

4.跳过某个import

1.Rich 兼容性

2.Rich 安装说明

3.Rich 的 Print 功能

4.自定义 Console 控制台输出

5.Console 控制台记录

6. 表情符号

7.表格

8.进度条

9.按列输出数据

10.Markdown

11.语法突出显示

12.错误回溯(traceback)

1.准备

安装ffmpeg

2.简单合并ts文件

3.解密处理

1.什么是监控-凡事预则立不预则废

2.监控建设的现状-千里之行始于足下

3.监控建设的挑战-吾将上下而求索

4.智能监控建设的实践-纸上得来终觉浅

5.监控建设的总结-身经百战忆往昔

1.Saleor 部署指南

2.Saleor 架构介绍

3.Saleor 扩展开发教程

1.识别快递单号的前情提要

2.思考解决办法

3.实战教程-遍历图片

4.实战教程-识别条形码

小结

有趣好用的Python教程