问题：Python 3中的多处理与多线程与异步
我发现在Python 3.4中，用于多处理/线程的库很少：多处理 vs 线程与asyncio。
但是我不知道使用哪个，或者是“推荐的”。他们做的是同一件事还是不同？如果是这样，则将哪一个用于什么？我想编写一个在计算机上使用多核的程序。但是我不知道我应该学习哪个图书馆。
回答 0
它们旨在（略有）不同的目的和/或要求。CPython（典型的主线Python实现）仍然具有全局解释器锁，因此多线程应用程序（当今实现并行处理的标准方式）不是最佳选择。这就是为什么multiprocessing 可能要优先于threading。但是并不是每个问题都可以有效地分解为[几乎独立的]部分，因此可能需要大量的进程间通信。这就是为什么multiprocessing可能不被threading普遍推荐的原因。
asyncio（该技术不仅在Python中可用，其他语言和/或框架也有此技术，例如Boost.ASIO）是一种有效处理来自许多同时源的大量I / O操作而无需并行代码执行的方法。 。因此，这仅是针对特定任务的解决方案（确实是一个不错的方案！），而不是通常用于并行处理的解决方案。
回答 1
[快速回答]
TL; DR
做出正确的选择：
我们介绍了最流行的并发形式。但是问题仍然存在-什么时候应该选择哪个？这实际上取决于用例。根据我的经验（和阅读），我倾向于遵循以下伪代码：
if io_bound:
if io_very_slow:
print("Use Asyncio")
else:
print("Use Threads")
else:
print("Multi Processing")
- CPU限制=>多处理
- I / O绑定，快速I / O，有限的连接数=>多线程
- I / O受限，I / O缓慢，许多连接=> Asyncio
[ 注意 ]：
- 如果您使用的是长调用方法（即，包含在睡眠时间或惰性I / O中的方法），则最佳选择是asyncio，Twisted或Tornado方法（协程方法），该方法可以与单个线程并发工作。
- asyncio适用于Python3.4及更高版本。
- 自从Python2.7开始，Tornado和Twisted已经准备就绪
- uvloop是超快速
asyncio事件循环（uvloop使asyncio速度提高2-4倍）。
[更新（2019）]：
回答 2
这是基本思想：
是IO- BOUND吗？———>使用
asyncio它是CPU- HEAVY吗？—–>使用
multiprocessing其他吗？———————->使用
threading
因此，除非您遇到IO / CPU问题，否则基本上要坚持使用线程。
回答 3
在多处理中，您利用多个CPU来分配您的计算。由于每个CPU并行运行，因此您可以有效地同时运行多个任务。您可能希望对CPU绑定的任务使用多处理。一个示例将尝试计算巨大列表中所有元素的总和。如果您的计算机具有8个核心，则可以将列表“切割”为8个较小的列表，并分别在单独的核心上计算每个列表的总和，然后将这些数字相加即可。这样您将获得约8倍的加速。
在穿线您不需要多个CPU。想象一个程序向网络发送大量HTTP请求。如果使用单线程程序，它将在每个请求处停止执行（块），等待响应，然后在收到响应后继续执行。这里的问题是，在等待某些外部服务器执行任务时，您的CPU并未真正在工作。同时，它实际上可以做一些有用的工作！解决方法是使用线程-您可以创建多个线程，每个线程负责从Web请求一些内容。关于线程的好处是，即使它们在一个CPU上运行，CPU也会不时地“冻结”一个线程的执行并跳转到执行另一个线程（这称为上下文切换，并且它在不确定性下不断发生）间隔）。 -使用线程。
asyncio本质上是线程化，而不是CPU，而是由您（作为程序员（或实际上是您的应用程序））决定上下文切换的时间和地点。在Python中，您可以使用await关键字来暂停协程的执行（使用async关键字定义）。