分类目录归档：Python 办公

Python 办公、云开发、开发工具、生活智能化

用Python自动上传文件到百度网盘原来这么简单

留下评论

要使用Python自动上传文件到百度网盘，你可以使用bypy开源模块，它提供了丰富的功能，包括显示文件列表、同步目录、文件上传。

仅支持 /apps/bypy 目录。

1.准备

开始之前，你要确保Python和pip已经成功安装在电脑上，如果没有，请访问这篇文章：超详细Python安装指南 进行安装。

(可选1) 如果你用Python的目的是数据分析，可以直接安装Anaconda：Python数据分析与挖掘好帮手—Anaconda，它内置了Python和pip.

(可选2) 此外，推荐大家用VSCode编辑器来编写小型Python项目：Python 编程的最好搭档—VSCode 详细指南

Windows环境下打开Cmd(开始—运行—CMD)，苹果系统环境下请打开Terminal(command+空格输入Terminal)，输入命令安装依赖：

pip install bypy

2.授权bypy访问百度网盘

首先试一下显示在云盘（程序的）根目录下文件列表，cmd/终端里输入：

bypy list

会出现这样的界面

点击终端上方出现的蓝色链接

复制授权码，在终端输入并回车：

完成授权。

3.开始使用bypy

在你的百度网盘上的“我的网盘>我的应用数据”新建一个bypy文件夹，并放置文件：

使用以下代码就可以获取到这个文件夹下的文件列表：

from bypy import ByPy
bp = ByPy()
print(bp.list())

效果如下：

4.文件上传功能

如果需要上传文件，只需要调用upload函数：

from bypy import ByPy
bp = ByPy()

bp.upload(r"C:\Users\83493\Downloads\Snipaste_2023-04-15_19-58-37.png", "Python实用宝典.png")
print(bp.list())

效果如下：

打开百度网盘测试一下：

成功咧，真简单咧。

5.文件同步功能

你可以选择把整个文件夹统统同步到百度网盘，比如我这里有个文件夹要全部推送到百度网盘：

那么我们只需要这么写:

from bypy import ByPy
bp = ByPy()

bp.syncup(r"D:\CODE\baidu_upload\Python实用宝典的推送素材", "Python实用宝典的推送素材")
print(bp.list())

它会在”我的网盘/我的应用数据/bypy”下自动创建Python实用宝典的推送素材文件夹：

打开看看，你会发现所有文件都被自动同步上来了

另外，还有一个 syncdown方法，是把 “我的网盘/我的应用数据/bypy” 下某个目录同步到本地：

from bypy import ByPy
bp = ByPy()

bp.syncdown(r"Python实用宝典的推送素材", "D:\CODE\baidu_upload\Python实用宝典的推送素材2")
print(bp.list())

效果如下，非常方便：

有需要的同学快试试吧！

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏
给作者打赏，选择打赏金额
¥1¥5¥10¥20¥50¥100¥200 自定义
立即支付

​Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

Python 办公、Python 数据分析、开发工具

Python 切割mp3为每30秒一个片段并降低文件码率

留下评论

MoviePy是一个基于Python的视频编辑库，它提供了创建、编辑、合并、剪辑和转换视频的功能。以下是MoviePy的主要作用：

  1. 视频剪辑：MoviePy可以剪辑视频、分离视频和音频流、添加和删除视频和音频段等。
  2. 视频合并：MoviePy可以将多个视频和音频文件合并成一个。
  3. 视频转码：MoviePy可以转换视频格式和编码方式，例如将mp4转换为avi或者将H.264编码转换为H.265编码等。
  4. 视频编辑：MoviePy可以添加视频特效、动画和字幕等，让视频更生动和富有创意。
  5. 视频生成：使用MoviePy可以创建自定义的视频，如生成幻灯片、动画等。
  6. 视频处理：MoviePy可以对视频进行一些处理，如裁剪、缩放、旋转和颜色调整等。

总之，MoviePy为Python开发者提供了一个简单易用的框架来处理视频，而不必学习复杂的视频编辑软件。它的功能强大，可以轻松地进行视频处理、编辑和生成。

本文主要介绍如何使用moviepy来分割音频流并降低码率。

1.准备

开始之前，你要确保Python和pip已经成功安装在电脑上，如果没有，请访问这篇文章：超详细Python安装指南 进行安装。

(可选1) 如果你用Python的目的是数据分析，可以直接安装Anaconda：Python数据分析与挖掘好帮手—Anaconda，它内置了Python和pip.

(可选2) 此外，推荐大家用VSCode编辑器来编写小型Python项目：Python 编程的最好搭档—VSCode 详细指南

Windows环境下打开Cmd(开始—运行—CMD)，苹果系统环境下请打开Terminal(command+空格输入Terminal)，输入命令安装依赖：

pip install moviepy

2.Moviepy分割音频

要使用MoviePy库按每30秒一个切割上传上来的mp3/wav并降低文件码率，我们可以按照以下步骤操作。

1、导入MoviePy库和所需的其他库：

import os
from moviepy.editor import *

2、定义一个函数来切割音频文件并降低码率：

def split_audio_file(filename, split_duration=30, bitrate=16000):
    # 读取音频文件
    audio = AudioFileClip(filename)

    # 计算文件总时长和切割点
    total_duration = audio.duration
    split_points = list(range(0, int(total_duration), split_duration))
    split_points.append(int(total_duration))
    filelist = []
    # 切割音频文件并降低码率
    for i in range(len(split_points) - 1):
        start_time = split_points[i]
        end_time = split_points[i+1]
        split_audio = audio.subclip(start_time, end_time)
        split_audio.write_audiofile(f"{os.path.splitext(filename)[0]}_{i}.wav", fps=bitrate)
        filelist.append(f"{os.path.splitext(filename)[0]}_{i}.wav")
    audio.close()
    return filelist

函数接受三个参数：filename表示要处理的音频文件名，split_duration表示要按照多长时间切割文件（单位为秒），bitrate表示要设置的输出码率（单位为比特率）。

在函数中，我们先读取音频文件，然后计算切割点。接着，我们用循环遍历每个切割点，将音频文件切割成小文件并降低码率，最后输出为新的音频文件。

3、调用函数处理音频文件：

filename = "your_audio_file.mp3"  # 要处理的音频文件名
split_duration = 30  # 按每30秒一个切割文件
bitrate = "64k"  # 设置输出码率为64kbps
split_audio_file(filename, split_duration, bitrate)

在调用函数时，将要处理的音频文件名、切割文件的时长和输出码率作为参数传递给函数即可。该函数将把处理后的音频文件输出到当前目录下。

3.Mp3的输出码率

请注意，不能把输出码率调的太低。MP3文件的输出码率会影响音频的质量和文件大小。输出码率越高，音频的质量越好，但文件大小也会越大。相反，输出码率越低，音频的质量会降低，但文件大小会更小。

MP3文件的码率是指每秒钟所需的比特数（即比特率）。在进行编码时，MP3算法会根据设置的码率来决定压缩音频数据的量，从而影响输出文件的大小和质量。通常，较高的码率会产生更高的音频质量，但也会占用更多的存储空间和带宽。

如果输出码率设置得太低，会导致音频质量受到明显的损失，可能会出现音频杂音、失真和低频截断等问题。如果输出码率设置得太高，文件大小会变得非常大，可能会使传输和存储变得困难。

因此，在选择输出码率时，需要根据具体情况权衡音频质量和文件大小的要求，以及传输和存储的限制。一般来说，128 kbps是常用的MP3输出码率，可产生较好的音质和适当的文件大小。

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏
给作者打赏，选择打赏金额
¥1¥5¥10¥20¥50¥100¥200 自定义
立即支付

​Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

Python 办公、云开发、工具、开发工具、生活智能化

Python 企业微信群通知原来这么简单

留下评论

上次介绍了如何通过钉钉进行群通知，有同学反馈自己更习惯使用企业微信或公司使用了企业微信，希望也能出个基于Python的企业微信的群通知教程，于是便有了本文。

事实上两者的配置方法和使用方法非常相似，都是通过机器人进行通知，下面就教大家如何使用Python对企业微信进行群通知。

1.准备

开始之前，你要确保Python和pip已经成功安装在电脑上，如果没有，请访问这篇文章：超详细Python安装指南 进行安装。

(可选1) 如果你用Python的目的是数据分析，可以直接安装Anaconda：Python数据分析与挖掘好帮手—Anaconda，它内置了Python和pip.

(可选2) 此外，推荐大家用VSCode编辑器来编写小型Python项目：Python 编程的最好搭档—VSCode 详细指南

Windows环境下打开Cmd(开始—运行—CMD)，苹果系统环境下请打开Terminal(command+空格输入Terminal)，输入命令安装依赖：

pip install requests

2.配置企业微信机器人

为了能够通过Python发送企业微信通知，首先我们需要在企业微信群聊（这个群里可以只有你和机器人）中添加一个群机器人：

然后填写机器人名称：

最后会获得一个webhook地址：

通过这个webhook地址，我们就能通过Python给企业微信发送通知了。

3.Python 发送企业微信通知

通过requests模块对webhook地址发送post请求就能发送通知：

# 公众号：Python实用宝典
import requests
def send_weixin(content):
    url = "https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=你的webhook密钥"  # 这里就是群机器人的Webhook地址
    headers = {"Content-Type": "application/json"}  # http数据头，类型为json
    data = {
        "msgtype": "text",
        "text": {
            "content": content,  # 让群机器人发送的消息内容。
            "mentioned_list": [],
        }
    }
    r = requests.post(url, headers=headers, json=data)  # 利用requests库发送post请求
send_weixin("人工智能: 175")

效果如下：

在 menthoned_list 参数中，你还可以增加 @所有人 的选项：

# 公众号：Python实用宝典
import requests
def send_weixin(content):
    url = "https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=你的webhook密钥"  # 这里就是群机器人的Webhook地址
    headers = {"Content-Type": "application/json"}  # http数据头，类型为json
    data = {
        "msgtype": "text",
        "text": {
            "content": content,  # 让群机器人发送的消息内容。
            "mentioned_list": ["@all", ],  # @全体成员
        }
    }
    r = requests.post(url, headers=headers, json=data)  # 利用requests库发送post请求
send_weixin("人工智能: 175")

这样会在消息发出的同时，提醒所有人查看信息。

此外，机器人的msgtype支持文本（text）、markdown（markdown）、图片（image）、图文（news）四种消息类型。

Markdown的发送方法如下：

# 公众号：Python实用宝典
import requests
def send_weixin_md(content):
    url = "https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=你的webhook密钥"  # 这里就是群机器人的Webhook地址
    headers = {"Content-Type": "application/json"}  # http数据头，类型为json
    data = {
        "msgtype": "markdown",
        "markdown": {
            "content": content,
            "mentioned_list": ["@all", ],  # @全体成员
        }
    }
    r = requests.post(url, headers=headers, json=data)  # 利用requests库发送post请求
send_weixin("实时新增用户反馈<font color=\"warning\">132例</font>，请相关同事注意。\n
         >类型:<font color=\"comment\">用户反馈</font>
         >普通用户反馈:<font color=\"comment\">117例</font>
         >VIP用户反馈:<font color=\"comment\">15例</font>")

如果你需要发单独的图片，请使用image类型，并将图片的md5和base64传入到image参数，完整的data的格式如下：

# 公众号：Python实用宝典
import requests
def send_weixin_images(MD5, base64data):
    url = "https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=你的webhook密钥"  # 这里就是群机器人的Webhook地址
    headers = {"Content-Type": "application/json"}  # http数据头，类型为json
    data = {
        "msgtype": "image",
        "image": {
            "base64": base64data,
            "md5": MD5
        }
    }
    r = requests.post(url, headers=headers, json=data)  # 利用requests库发送post请求
send_weixin(MD5, base64data)

注：图片（base64编码前）最大不能超过2M，支持JPG,PNG格式，效果如下：

图文类型你只需要配置图片、说明文字及跳转链接，也非常方便：

# 公众号：Python实用宝典
import requests
def send_weixin_images(title, description, url, picurl):
    url = "https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=你的webhook密钥"  # 这里就是群机器人的Webhook地址
    headers = {"Content-Type": "application/json"}  # http数据头，类型为json
    data = {
        "msgtype": "news",
        "news": {
           "articles" : [
               {
                   "title" : title,
                   "description" : description,
                   "url" : url, 
                   "picurl" : picurl
               }
            ]
        }
    }
    r = requests.post(url, headers=headers, json=data)  # 利用requests库发送post请求
send_weixin("中秋节礼品领取", "今年中秋节公司有豪礼相送", "www.qq.com", "http://res.mail.qq.com/node/ww/wwopenmng/images/independent/doc/test_pic_msg1.png")

怎么样，上述四种通知类型中有你需要的吗？有的话就赶快拿去使用吧！

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏
给作者打赏，选择打赏金额
¥1¥5¥10¥20¥50¥100¥200 自定义
立即支付

​Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

Python 办公、生活智能化

Keyboard — 这个牛逼的Python模块，能让你轻松模拟并记录键盘操作

留下评论

模拟键盘操作执行自动化任务，我们常用的有 pyautowin 等自动化操作模块。但是这些模块有一个很大的缺点，编译的时候非常依赖 windows 的C语言底层模块。

今天介绍的这个模块叫做 keyboard 它有一个最大的优点：纯Python原生开发，编译时完全不需要依赖C语言模块。一行命令就能完成安装，非常方便。

1.准备

开始之前，你要确保Python和pip已经成功安装在电脑上，如果没有，请访问这篇文章：超详细Python安装指南 进行安装。

(可选1) 如果你用Python的目的是数据分析，可以直接安装Anaconda：Python数据分析与挖掘好帮手—Anaconda，它内置了Python和pip.

(可选2) 此外，推荐大家用VSCode编辑器来编写小型Python项目：Python 编程的最好搭档—VSCode 详细指南

Windows环境下打开Cmd(开始—运行—CMD)，苹果系统环境下请打开Terminal(command+空格输入Terminal)，输入命令安装依赖：

pip install keyboard

2.Keyboard 基本使用

按下并释放：模拟键盘按下某些键或组合键后释放，比如shift + S, 并增加空格：

import keyboard

keyboard.press_and_release('shift+s, space')

输入文字：

import keyboard

keyboard.write('Python 实用宝典')

等待触发按键并响应：

# 公众号：Python实用宝典
import keyboard

keyboard.add_hotkey('ctrl+shift+a', print, args=('宝典哥触发了热键'))
keyboard.wait()

这样程序就会监控 “ctrl+shift+a” 组合键的触发情况，一旦组合键触发，就会执行第二个参数的函数，并将第三个参数传入第二个函数的参数中。

等待触发某个按键：

# 公众号：Python实用宝典
import keyboard

keyboard.add_hotkey('ctrl+shift+a', print, args=('宝典哥触发了热键'))
keyboard.wait('esc')

这样，按下 ESC 就会终止等待，继续往下运行程序。

3.高级功能

记录功能：

# 公众号：Python实用宝典
import keyboard

recorded = keyboard.record(until='esc')
print(recorded)

可以看到，除非你按下esc，它会记录所有执行过的键盘操作。

重放操作：

# 公众号：Python实用宝典
import keyboard

recorded = keyboard.record(until='esc')
print(recorded)
keyboard.play(recorded, speed_factor=3)

play方法能完全模拟你刚记录下的所有键盘操作。

替换操作：

# 公众号：Python实用宝典
import keyboard

keyboard.add_abbreviation('@@', 'Python 实用宝典')
keyboard.wait('esc')

输入@@并按下空格，它会将你刚输入的@@替换为 Python 实用宝典.

怎么样，这个简单实用的Keyboard模块，你学会使用了吗？

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏
给作者打赏，选择打赏金额
¥1¥5¥10¥20¥50¥100¥200 自定义
立即支付

​Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

Python 办公、工具

教你如何在 Windows 下让崩溃的 Python 程序自动重启

留下评论

我们用Python定时跑一些自动化程序的时候会出现程序崩溃的情况。此时如果你本人不在电脑面前，或者没有留意到程序的崩溃，没有及时重新拉起程序，会造成或大或小的损失。那么我们如何在 Windows 下让崩溃的 Python 程序自动重启呢？答案是通过 Supervisor-win.

本文将教你如何在 Windows 下使用 Supervisor-win 重新拉起崩溃的Python程序。

1.准备

开始之前，你要确保Python和pip已经成功安装在电脑上，如果没有，请访问这篇文章：超详细Python安装指南 进行安装。

(可选1) 如果你用Python的目的是数据分析，可以直接安装Anaconda：Python数据分析与挖掘好帮手—Anaconda，它内置了Python和pip.

(可选2) 此外，推荐大家用VSCode编辑器来编写小型Python项目：Python 编程的最好搭档—VSCode 详细指南

Windows环境下打开Cmd(开始—运行—CMD)，苹果系统环境下请打开Terminal(command+空格输入Terminal)，输入命令安装依赖：

pip install supervisor-win

如果你出现 “DLL load failed: 找不到指定的程序” 的报错，请重新安装pywin32:

pip install pywin32==223

2.Windows Python程序自动重启的配置

接下来，你需要编写一个让你的Python程序自动运行，遇到报错自动重启的配置：

[program:cancel]
command=G:\\Anaconda3\\envs\\tdx_easytrader\\python.exe D://CODE//tdx_easytrader//dataserver.py
    
[supervisord]
nodaemon=true

[supervisorctl]

前两行就是你的程序运行命令，在上面的例子中，program: 后面的关键词是你自定义的程序名，我的Python位于 G:\Anaconda3\envs\tdx_easytrader\python.exe，我想要自重启的脚本位于 D://CODE//tdx_easytrader//dataserver.py

此外，后面的三行是必须配置的，按我的默认写法即可。

编写完成后将配置命名为 supervisord.conf 保存于任何地方，可以是项目目录下，也可以是一个重要的配置目录文件夹。

然后执行以下命令启动 supervisord:

supervisord -c D:\CODE\tdx_easytrader\supervisord.conf

注意 -c 参数后就是你的 supervisord.conf 的绝对路径。启动完毕显示：

2022-06-27 19:58:54,809 INFO process group added: 'cancel'
2022-06-27 19:58:54,810 INFO supervisord started with pid 28472
2022-06-27 19:58:54,815 INFO Spawned: 'cancel' with pid 27220
2022-06-27 19:58:55,830 INFO success: cancel entered RUNNING state, process has stayed up for > than 1 seconds (startsecs)

意思是，supervisord 进程已经启动，pid为28472。我命名为cancel的Python进程也已经启动，pid为27220。我们在任务管理器中可以查看到这两个进程：

3.测试

接下来我们测试一下它能否自动重启，让我们强杀 27220 这个进程，观察终端：

2022-06-27 19:58:54,815 INFO Spawned: 'cancel' with pid 27220
2022-06-27 19:58:55,830 INFO success: cancel entered RUNNING state, process has stayed up for > than 1 seconds (startsecs)
2022-06-27 20:02:58,077 INFO exited: cancel (exit status 1; not expected)
2022-06-27 20:02:58,590 INFO Spawned: 'cancel' with pid 16640
2022-06-27 20:02:59,603 INFO success: cancel entered RUNNING state, process has stayed up for > than 1 seconds (startsecs)

可以看到， 20:02:58秒的时候 cancel 程序意外退出(exit status 1; not expected)，然后supervisord重新帮我们拉起了一个cancel程序，pid为16640：

测试成功，程序成功自重启。

Supervisor不仅会把日志输出到终端中，在你运行命令的目录中，它还会生成supervisord.log, 这里面也保存了所有运行日志：

当然，在上方我们supervisord的配置里，你也能配置日志输出位置、最大大小、分片数量等：

[supervisord]
logfile = /tmp/supervisord.log
logfile_maxbytes = 50MB
logfile_backups=10
loglevel = info
pidfile = /tmp/supervisord.pid

Supervisord 还有许多其他的功能，有兴趣的同学可以访问他们官网查询：

http://supervisord.org/introduction.html

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏
给作者打赏，选择打赏金额
¥1¥5¥10¥20¥50¥100¥200 自定义
立即支付

​Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

Python 办公、Python 数据分析、工具

Cpca 这个Python神器能帮你自动识别文字中的省市区并绘图

留下评论

在做NLP（自然语言处理）相关任务时，经常会遇到需要识别并提取省、城市、行政区的需求。虽然我们自己通过关键词表一个个查找也能实现提取目的，但是需要先搜集省市区关键词表，相对而言比较繁琐。

今天给大家介绍一个模块，你只需要把字符串传递给这个模块，他就能给你返回这个字符串内的省、市、区关键词，并能给你在图片上标注起来，它就是 Cpca 模块。

1.准备

开始之前，你要确保Python和pip已经成功安装在电脑上，如果没有，请访问这篇文章：超详细Python安装指南 进行安装。

(可选1) 如果你用Python的目的是数据分析，可以直接安装Anaconda：Python数据分析与挖掘好帮手—Anaconda，它内置了Python和pip.

(可选2) 此外，推荐大家用VSCode编辑器来编写小型Python项目：Python 编程的最好搭档—VSCode 详细指南

Windows环境下打开Cmd(开始—运行—CMD)，苹果系统环境下请打开Terminal(command+空格输入Terminal)，输入命令安装依赖：

pip install cpca

注意，目前 cpca 模块仅支持Python3及以上版本。

在 windows 上可能会出现类似如下问题

Building wheel for pyahocorasick (setup.py) ... error

先去下载 Microsoft Visual C++ Build Tools 安装VC++构建工具，再重新 pip install cpca，即可解决问题

2.Cpca 基本使用

通过两行代码就能实现最基本的省市区提取：

# 公众号: Python 实用宝典
# 2022/06/23

import cpca

location_str = [
    "广东省深圳市福田区巴丁街深南中路1025号新城大厦1层",
    "特斯拉上海超级工厂是特斯拉汽车首座美国本土以外的超级工厂，位于中华人民共和国上海市。",
    "三星堆遗址位于中国四川省广汉市城西三星堆镇的鸭子河畔，属青铜时代文化遗址"
]
df = cpca.transform(location_str)
print(df)

效果如下：

     省     市     区                     地址  adcode
0  广东省   深圳市   福田区     巴丁街深南中路1025号新城大厦1层  440304
1  上海市  None  None                      。  310000
2  四川省   德阳市   广汉市  城西三星堆镇的鸭子河畔，属青铜时代文化遗址  510681

注意第三条的广汉市，cpca 不仅识别到了语句中的县级市广汉市，还能自动匹配到其代管市的德阳市，不得不说非常强大。

如果你想获知程序是从字符串的那个位置提取出省市区名的，可以添加一个 pos_sensitive=True 参数：

# 公众号: Python 实用宝典
# 2022/06/23

import cpca

location_str = [
    "广东省深圳市福田区巴丁街深南中路1025号新城大厦1层",
    "特斯拉上海超级工厂是特斯拉汽车首座美国本土以外的超级工厂，位于中华人民共和国上海市。",
    "三星堆遗址位于中国四川省广汉市城西三星堆镇的鸭子河畔，属青铜时代文化遗址"
]
df = cpca.transform(location_str, pos_sensitive=True)
print(df)

效果如下：

(base) G:\push\20220623>python 1.py
     省     市     区                     地址  adcode  省_pos  市_pos  区_pos
0  广东省   深圳市   福田区     巴丁街深南中路1025号新城大厦1层  440304      0      3      6
1  上海市  None  None                      。  310000     38     -1     -1
2  四川省   德阳市   广汉市  城西三星堆镇的鸭子河畔，属青铜时代文化遗址  510681      9     -1     12

它标记出了识别到省、市、区的关键位置（index），当然如果是德阳市这种特殊的识别会被标记为-1.

3.高级使用

它还可以从大段文本中批量识别多个地区：

# 公众号: Python 实用宝典
# 2022/06/23

import cpca

long_text = "对一个城市的评价总会包含个人的感情。如果你喜欢一个城市，很有可能是喜欢彼时彼地的自己。"\
    "在广州、香港读过书，工作过，在深圳买过房、短暂生活过，去北京出了几次差。"\
    "想重点比较一下广州、深圳和香港，顺带说一下北京。总的来说，觉得广州舒适、"\
    "香港精致、深圳年轻气氛好、北京大气又粗糙。答主目前选择了广州。"
df = cpca.transform_text_with_addrs(long_text, pos_sensitive=True)
print(df)

效果如下：

(base) G:\push\20220623>python 1.py
          省     市     区 地址  adcode  省_pos  市_pos  区_pos
0       广东省   广州市  None     440100     -1     44     -1
1   香港特别行政区  None  None     810000     47     -1     -1
2       广东省   深圳市  None     440300     -1     58     -1
3       北京市  None  None     110000     71     -1     -1
4       广东省   广州市  None     440100     -1     86     -1
5       广东省   深圳市  None     440300     -1     89     -1
6   香港特别行政区  None  None     810000     92     -1     -1
7       北京市  None  None     110000    100     -1     -1
8       广东省   广州市  None     440100     -1    110     -1
9   香港特别行政区  None  None     810000    115     -1     -1
10      广东省   深圳市  None     440300     -1    120     -1
11      北京市  None  None     110000    128     -1     -1
12      广东省   广州市  None     440100     -1    143     -1

不仅如此，模块中还自带一些简单绘图工具，可以在地图上将上面输出的数据以热力图的形式画出来：

# 公众号: Python 实用宝典
# 2022/06/23

import cpca
from cpca import drawer

long_text = "对一个城市的评价总会包含个人的感情。如果你喜欢一个城市，很有可能是喜欢彼时彼地的自己。"\
    "在广州、香港读过书，工作过，在深圳买过房、短暂生活过，去北京出了几次差。"\
    "想重点比较一下广州、深圳和香港，顺带说一下北京。总的来说，觉得广州舒适、"\
    "香港精致、深圳年轻气氛好、北京大气又粗糙。答主目前选择了广州。"
df = cpca.transform_text_with_addrs(long_text, pos_sensitive=True)
drawer.draw_locations(df[cpca._ADCODE], "df.html")

运行的时候可能会报这个错：

(base) G:\push\20220623>python 1.py
Traceback (most recent call last):
  File "1.py", line 12, in <module>
    drawer.draw_locations(df[cpca._ADCODE], "df.html")
  File "G:\Anaconda3\lib\site-packages\cpca\drawer.py", line 41, in draw_locations
    import folium
ModuleNotFoundError: No module named 'folium'

使用pip安装即可：

pip install folium

然后重新运行代码，会在当前目录下生成 df.html, 双击打开，效果如下：

怎么用，是不是感觉非常方便？以后地点的识别用这个模块就完全够了。

还有更多的细节你可以访问这个项目的Github主页阅读，该项目的README完全中文编写，非常容易阅读：

https://github.com/DQinYuan/chinese_province_city_area_mapper

如果你无法访问GitHub，也可以在Python实用宝典公众号后台回复：cpca 下载完整项目。

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏
给作者打赏，选择打赏金额
¥1¥5¥10¥20¥50¥100¥200 自定义
立即支付

​Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

Python 办公、Python 数据分析、开发工具、生活智能化

Python 通过阿里云日志服务上传日志并监控告警

留下评论

在我们的日常生活工作中，经常会遇到需要上传日志的场景，比如多台机器运行同一个程序，并且需要记录每台机器程序产生的日志，根据相关关键词告警，或者进行无数据告警，如果自己搭建这套系统需要耗费不少时间，因此如果能使用市面上现成的系统会很方便。

本文将教你如何通过阿里云日志服务搭建一套通过Python上传日志、配置日志告警的监控服务。

1.准备

开始之前，你要确保Python和pip已经成功安装在电脑上，如果没有，请访问这篇文章：超详细Python安装指南 进行安装。

(可选1) 如果你用Python的目的是数据分析，可以直接安装Anaconda：Python数据分析与挖掘好帮手—Anaconda，它内置了Python和pip.

(可选2) 此外，推荐大家用VSCode编辑器来编写小型Python项目：Python 编程的最好搭档—VSCode 详细指南

Windows环境下打开Cmd(开始—运行—CMD)，苹果系统环境下请打开Terminal(command+空格输入Terminal)，输入命令安装依赖：

pip install aliyun-log-python-sdk

接下来，登陆阿里云控制台，进入日志应用，通过下面的步骤创建日志Project和Logstore:

点击Python – SDK 写入，再根据你的需要创建Project和Logstore：

随后会进入这个页面，直接点击确定即可：

2.使用阿里云SDK上传Python日志

为了使用阿里云SDK上传日志，我们需要先获取Access Token, 将鼠标移动到右上角头像上点击AccessKey管理：

然后点击创建AccessKey，输入相关验证信息就能获取 accessKeyId 和 accessKey：

编写Python代码，配置AccessKey和你在第一步骤创建的Project及logstore名称：

from aliyun.log import LogClient, PutLogsRequest, LogItem, GetLogsRequest, IndexConfig
import time

# 配置AccessKey、服务入口、Project名称、Logstore名称等相关信息。
# 阿里云访问密钥AccessKey。更多信息，请参见访问密钥。
# 阿里云账号AccessKey拥有所有API的访问权限，风险很高。强烈建议您创建并使用RAM用户进行API访问或日常运维。
accessKeyId = "你的AccessKey ID"
accessKey = "你的AccessKey"
# 日志服务的域名。更多信息，请参见服务入口。此处以广州为例，其它地域请根据实际情况填写。
endpoint = "cn-guangzhou.log.aliyuncs.com"

# 创建日志服务Client。
client = LogClient(endpoint, accessKeyId, accessKey)

# Project名称。
project_name = "aliyun-test-project"
#Logstore名称
logstore_name = "aliyun-test-logstore"
# 查询语句。
query = "*| select dev,id from " + logstore_name
# from_time和to_time表示查询日志的时间范围，Unix时间戳格式。
from_time = int(time.time()) - 3600
to_time = time.time() + 3600

然后我们就可以编写Python代码创建索引（日志的索引可以理解为MySQL中的数据库）和插入日志了：

# 向Logstore写入数据。
def put_logs():
    print("ready to put logs for %s" % logstore_name)
    log_group = []
    for i in range(0, 100):
        log_item = LogItem()
        contents = [
            ('dev', 'test_put'),
            ('id', str(i))
        ]
        log_item.set_contents(contents)
        log_group.append(log_item)
    request = PutLogsRequest(project_name, logstore_name, "", "", log_group, compress=False)
    client.put_logs(request)
    print("put logs for %s success " % logstore_name)
    time.sleep(5)

if __name__ == '__main__':
    # 向Logstore写入数据。
    put_logs()

运行程序后出现对应的提示，说明日志上传成功：

python test.py
# ready to put logs for tradingview
# put logs for tradingview success

进入控制台对应的Project，你会看到刚刚上传的日志已经显示在上面：

3.配置日志告警

日志告警的配置也非常简单，输入你的查询条件，获得输出后点击上方另存为告警：

在查询统计中添加你需要监控并触发告警的条件，比如我设置出现一次该日志的时候触发告警：

效果如下，我这里文本配置得太简单了，你也可以在标注中配置复杂一点的文本：

用起来挺方便的，如果你有类似的多机器日志监控服务，比如分布式模型训练监控、交易服务监控等等，可以考虑使用这个日志服务。

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏
给作者打赏，选择打赏金额
¥1¥5¥10¥20¥50¥100¥200 自定义
立即支付

​Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

github、Python 办公、开发工具、解决方案

Asciinema – 终端日志记录神器，机器学习开发者的福音

留下评论

我们在做机器学习/深度学习开发的时候，经常会产生如下所示的大量日志：

这些日志如果不保存，转瞬即逝，当我们想要回去翻看某一轮训练日志的时候，会很遗憾的发现找不到了。

现在有了这个 Asciinema 这个神器，我们不仅能找到当时的终端日志导出，还能够“重播日志”并“分享日志”。非常牛逼：

Asciinema 是使用Python开发的工具，请按下面的流程安装并使用。

1.准备

开始之前，你要确保Python和pip已经成功安装在电脑上，如果没有，请访问这篇文章：超详细Python安装指南 进行安装。

(可选1) 如果你用Python的目的是数据分析，可以直接安装Anaconda：Python数据分析与挖掘好帮手—Anaconda，它内置了Python和pip.

(可选2) 此外，推荐大家用VSCode编辑器来编写小型Python项目：Python 编程的最好搭档—VSCode 详细指南

Windows环境下打开Cmd(开始—运行—CMD)，苹果系统环境下请打开Terminal(command+空格输入Terminal)，输入命令安装依赖：

pip install asciinema

2.Asciinema 使用方法

终端输入如下命令，记录你的第一个终端日志：

asciinema rec first.cast

输入完成后会显示如下的提示：

(gs3_9) zjr@sgd-linux-1:~/cnn_test$ asciinema rec first.cast
  
asciinema: recording asciicast to first.cast
asciinema: press <ctrl-d> or type "exit" when you're done

意思就是日志会被保存在当前文件夹下的first.cast，如果你想结束录制，按 Ctrl + D 即可。

记录完毕后，以双倍速度重播该日志：

asciinema play -s 2 first.cast

或以正常速度但空闲时间限制为 2 秒：

asciinema play -i 2 first.cast

你也可以在启动终端日志录制时传递 -i 2 给 asciinema rec，将其永久设置在录制中：

asciinema rec first.cast -i 2

空闲时间的限制使录制更有趣。试试吧。

如果你想在网络上观看和分享，请上传：

asciinema upload first.cast

这个命令会将日志记录上传到 asciinema.org，此外，它会打印一个秘密链接，你可以使用该链接在网络浏览器中观看你录制的终端日志：

你可以通过省略文件名一步录制和上传终端的日志：

asciinema rec

录制完成后，系统会要求你确认上传。未经你的同意，不会向任何地方发送任何内容。

3.播放日志

查看日志有四种方式，最普通的是通过本地文件进行终端重播：

asciinema play /path/to/asciicast.cast

以下键盘快捷键可用：

  • Space– 暂停，
  • .– 按帧步进（暂停时），
  • Ctrl+C– 退出

第二种方式是通过url播放：

asciinema play https://asciinema.org/a/22124.cast
asciinema play http://example.com/demo.cast

这个方式需要你的日志已经上传到asciinema.org中。

第三种方式是通过你自己生成的html页面访问（需要<link rel="alternate" type="application/x-asciicast" href="/my/ascii.cast">在页面的 HTML 中）：

asciinema play http://your_html_path/post.html

第四种方式是通过标准输入输出播放：

cat /path/to/asciicast.cast | asciinema play -
ssh user@host cat asciicast.cast | asciinema play -

可用选项：

  • -i, --idle-time-limit=<sec>– 将重播的终端空闲不动时间闲置为最大<sec>秒数
  • -s, --speed=<factor>– 播放速度

4.导出日志

导出终端日志到文本文件非常简单：

asciinema cat existing.cast > terminal_output.txt

所有的终端日志都会被导出到 terminal_output.txt 中，非常方便好用。

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏
给作者打赏，选择打赏金额
¥1¥5¥10¥20¥50¥100¥200 自定义
立即支付

​Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

Python 办公、开发工具、性能优化

Python超好用的命令行参数工具—Click

留下评论

Click 是一个简洁好用的Python模块，它能用尽量少的代码实现漂亮的命令行界面。它不仅开箱即用、还能支持高度自定义的配置。

一个简单的示例如下：

import click

@click.command()
@click.option('--count', default=1, help='Number of greetings.')
@click.option('--name', prompt='Your name',
              help='The person to greet.')
def hello(count, name):
    """Simple program that greets NAME for a total of COUNT times."""
    for x in range(count):
        click.echo(f"Hello {name}!")

if __name__ == '__main__':
    hello()

效果如下：

可见这个模块的强大之处，你只需要在对应的函数上加几个装饰器，就能实现带提示符的命令行界面的创建，相当方便。

1.准备

开始之前，你要确保Python和pip已经成功安装在电脑上，如果没有，请访问这篇文章：超详细Python安装指南 进行安装。

(可选1) 如果你用Python的目的是数据分析，可以直接安装Anaconda：Python数据分析与挖掘好帮手—Anaconda，它内置了Python和pip.

(可选2) 此外，推荐大家用VSCode编辑器来编写小型Python项目：Python 编程的最好搭档—VSCode 详细指南

Windows环境下打开Cmd(开始—运行—CMD)，苹果系统环境下请打开Terminal(command+空格输入Terminal)，输入命令安装依赖：

pip install click

2.基本使用

如文首所示的例子一样，@click.option 是最基本的选项，它既可以设定参数默认值，也可以设定必须传入参数：

@click.command()
@click.option('--n', default=1) # 设定了默认值
def dots(n):
    click.echo('.' * n)
    

@click.command()
@click.option('--n', required=True, type=int) # 设定必须传入参数值
def dots(n):
    click.echo('.' * n)

如果你设置了必须传入相关参数，那么在没传入参数的情况下，效果是这样的：

当然，它还支持设定多种参数别名，比如下面的 –from 和 -f 是等效的：

@click.command()
@click.option('--from', '-f', 'from_')
@click.option('--to', '-t')
def reserved_param_name(from_, to):
    click.echo(f"from {from_} to {to}")

3.多值参数

如果你的选项需要多个参数，Click也能帮你实现这个需求。

@click.command()
@click.option('--pos', nargs=2, type=float)
def findme(pos):
    a, b = pos
    click.echo(f"{a} / {b}")

可见，通过配置nargs参数，你可以将用户传递的值存入元组，并在代码中解包这个元组拿到所有的值。

效果如下：

你还可以配置一个参数叫 multiple，这个参数可以让你接受N个值：

@click.command()
@click.option('--message', '-m', multiple=True)
def commit(message):
    click.echo(' '.join(message))

效果如下：

4.其他功能

你还可以使用Click来计数，这个使用非常罕见：

@click.command()
@click.option('-v', '--verbose', count=True)
def log(verbose):
    click.echo(f"Verbosity: {verbose}")

效果如下：

布尔标志

此外，Click还带有布尔标志功能，你可以直接使用 “/” 来标志参数为二选一参数，函数中直接就会拿到布尔型的变量：

import sys

@click.command()
@click.option('--shout/--no-shout', default=False)
def info(shout):
    rv = sys.platform
    if shout:
        rv = rv.upper() + '!!!!111'
    click.echo(rv)

效果如下：

选择选项

你可以直接限定用户的输入范围：

@click.command()
@click.option('--hash-type',
              type=click.Choice(['MD5', 'SHA1'], case_sensitive=False))
def digest(hash_type):
    click.echo(hash_type)

提示文本

在文首提到的例子中，输出了个 “You name:” 的提示，其实是 option 中的prompt参数控制的：

@click.command()
@click.option('--name', prompt='Your name please')
def hello(name):
    click.echo(f"Hello {name}!")

好了，Click的功能就介绍到这里，他还有许多高级的用法，比如动态默认值、回调函数等等，大家可以通过官方文档了解这些高级功能的使用方法：

https://click.palletsprojects.com/en/8.0.x/options/#name-your-options

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏
给作者打赏，选择打赏金额
¥1¥5¥10¥20¥50¥100¥200 自定义
立即支付

​Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

Python 办公、开发工具

新年新气象，超级文献下载工具更新了！一行命令下载全网任意文献

9条评论

之前为了解决学生无力支付国内部分论文平台的付费阅读功能的问题，我们推出了超级文献下载工具：你不得不知道的python超级文献批量搜索下载工具。

在最初的这几个版本中，我们必须通过编写代码才能选择不同的文献源去搜索和下载文献。很多同学在使用过程中会由于对Python不熟悉或者环境没有配置好而产生不少问题。

为了解决这些问题，我们给他增加了命令行调用的方式，并上传到了PyPi，你只需要一行命令，就能下载到你所需要的文献！（感谢 @hulei6188 的开源贡献）

1.准备

开始之前，你要确保Python和pip已经成功安装在电脑上，如果没有，请访问这篇文章：超详细Python安装指南 进行安装。

Windows环境下打开Cmd(开始—运行—CMD)，苹果系统环境下请打开Terminal(command+空格输入Terminal)，输入命令安装依赖：

pip install scihub-cn

看到 Successfully installed … 就代表成功安装scihub-cn。

不过请注意，scihub-cn依赖 aiohttp 模块进行并发的下载，因此支持的最低Python版本为3.6.

项目源代码：https://github.com/Ckend/scihub-cn

2.Scihub-cn 使用方法

2.1 使用DOI号下载论文

首先让我们来试试根据DOI号下载文献：

scihub-cn -d 10.1038/s41524-017-0032-0

下载的论文会自动生成在当前文件夹下：

你也可以选择将其下载到任意目录下，只需要添加 -o 参数：

scihub-cn -d 10.1038/s41524-017-0032-0 -o D:\papers

这将会把这篇论文下载到D盘的papers文件夹中。

2.2 根据关键词下载论文

使用 -w 参数指定一个关键词，可以通过关键词下载论文：

scihub-cn -w reinforcement

同样滴，它也支持-o参数指定文件夹。此外，这里默认使用的搜索引擎是百度学术，你也可以使用Google学术、publons、science_direct等。通过指定 -e 参数即可：

scihub-cn -w reinforcement -e google_scholar

为了避免Google学术无法连接，你还可以增加代理 -p 参数：

scihub-cn -w reinforcement -e google_scholar -p http://127.0.0.1:10808

访问外网数据源的时候，增加代理能避免出现Connection closed等问题。

此外，你还能限定下载的篇目, 比如我希望下载100篇文章：

scihub-cn -w reinforcement -l 100

2.3 根据url下载论文

给定任意论文地址，可以让scihub-cn尝试去下载该论文：

scihub-cn -u https://ieeexplore.ieee.org/document/26502

使用 -u 参数指定论文链接即可，非常方便。

3.批量下载论文

当然，之前花了几篇文章优化的批量下载模块这个版本肯定少不了！

而且还增加了几种新的批量下载方式：

1. 根据给出所有论文名称的txt文本文件下载论文。

2. 根据给出所有论文url的txt文件下载论文。

3. 根据给出所有论文DOI号的txt文本文件下载论文。

4. 根据给出bibtex文件下载论文。

比如，根据给出所有论文URL的txt文件下载论文：

scihub-cn -i urls.txt --url

可以看到，文件内有4个论文链接，而他也成功地下载到了这4篇论文。

再试试放了DOI号的txt文件的批量下载：

scihub-cn -i dois.txt --doi

你可以输入 scihub-cn –help 看到更多的参数说明:

$scihub-cn --help
... ...
optional arguments:
  -h, --help            show this help message and exit
  -u URL                input the download url
  -d DOI                input the download doi
  --input INPUTFILE, -i INPUTFILE
                        input download file
  -w WORDS, --words WORDS
                        download from some key words,keywords are linked by
                        _,like machine_learning.
  --title               download from paper titles file
  -p PROXY, --proxy PROXY
                        use proxy to download papers
  --output OUTPUT, -o OUTPUT
                        setting output path
  --doi                 download paper from dois file
  --bib                 download papers from bibtex file
  --url                 download paper from url file
  -e SEARCH_ENGINE, --engine SEARCH_ENGINE
                        set the search engine
  -l LIMIT, --limit LIMIT
                        limit the number of search result

大家如果有更多的想法，可以往我们这个开源项目贡献代码：

https://github.com/Ckend/scihub-cn

本文仅限参考研究，下载的论文请在24小时内阅读后删除，请勿将此项目用于商业目的。

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏
给作者打赏，选择打赏金额
¥1¥5¥10¥20¥50¥100¥200 自定义
立即支付

​Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典