Python线程全部在单个内核上执行

Question

我有一个Python程序，该程序产生许多线程，一次运行4个，每个线程执行一个昂贵的操作。伪代码：for object in list:    t = Thread(target=process, args=(object))    # if fewer than 4 threads are currently running, t.start(). Otherwise, add t to queue但是，当程序运行时，OS X中的活动监视器显示4个逻辑内核中的1个处于100％的状态，而其他逻辑内核中的接近0个。显然，我不能强迫OS做任何事情，但是我从来没有做过以前请注意这样的多线程代码的性能，所以我想知道我是否只是缺少或误解了某些东西。

Answer 1

请注意，在许多情况下（几乎所有情况下，“昂贵的操作”都是使用Python实现的计算），由于Python的全局解释器锁定（GIL），多个线程实际上不会并发运行。

GIL是解释程序级别的锁。此锁定可防止在Python解释器中一次执行多个线程。每个要运行的线程都必须等待另一个线程释放GIL，这意味着您的多线程Python应用程序本质上是单线程的，对吗？是。不完全是。有点。

CPython在幕后使用了所谓的“操作系统”线程，也就是说，每次发出创建新线程的请求时，解释器实际上就会调用操作系统的库和内核以生成新线程。例如，这与Java相同。因此，在内存中您确实确实有多个线程，并且通常操作系统会控制计划运行哪个线程。在多处理器机器上，这意味着您可能有多个线程分布在多个处理器上，所有线程都高兴地放弃工作。

但是，尽管CPython确实使用了操作系统线程（理论上允许多个线程在解释器中同时执行），但解释器还强制GIL由线程获取，然后它才能访问解释器并进行堆栈并可以修改内存中的Python对象。一切都是故意的。后一点是GIL存在的原因：GIL防止多个线程同时访问Python对象。但是，这并不能使您（如银行示例所示）免于成为对锁敏感的生物。你不会搭便车。GIL可以保护翻译人员的记忆，而不是您的理智。

有关更多详细信息，请参见Jesse Noller的帖子的“ Global Interpreter Lock”部分。

要解决此问题，请查看Python的multiprocessing模块。

多个进程（明智地使用IPC）是一种为线程编写多CPU应用程序的更好方法。

Answer 2

AFAIK，在CPython中，全局解释器锁定意味着在任何一次运行的Python代码块不能超过一个。尽管这实际上并不会影响单个处理器/单核计算机上的任何内容，但是在多核计算机上，这意味着您实际上一次只能运行一个线程-导致所有其他内核都处于空闲状态。