天天看点

python协程的理解

一、介绍

什么是并发?

并发的本质就是切换+保存状态

cpu正在运行一个任务,会在两种情况下切走去执行其他的任务(切换由操作系统强制控制):

1.任务发生阻塞

2.计算任务时间过长,需要让出cpu给高优先级的程序

协程,又称微线程,是一种用户态的轻量级线程。协程能保留上一次调用时的状态,每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开时所处逻辑流的位置,当程序中存在大量不需要cpu的操作时(io),适用于协程。

协程本质上就是一个线程,以前线程任务的切换是由操作系统控制的,遇到i/o自动切换,现在我们用协程的目的就是较少操作系统切换的开销(开关线程,创建寄存器、堆栈等,在他们之间进行切换等),在我们自己的程序里面来控制任务的切换

python协程的理解

进程有三种状态,而线程是进程的执行最小单位,所以也是线程的三种状态

二、协程切换

1.yield是一种在单线程下可以保存任务运行状态的方法

通过yield实现任务切换+保存线程:

注: yield并不能检测io,实现自动切换

import time

协程就是告诉cpython解释器,不是搞了个gil锁吗,那好,我就自己搞成一个线程让你去执行,省去你切换线程的时间,我自己切换比你切换要快很多,避免了很多的开销。

对于单线程下,我们不可避免程序中出现io操作,但如果我们能在自己的程序中(即用户程序级别,而非操作系统级别)控制单线程下的多个任务能在一个任务遇到io阻塞时就切换到另外一个任务去计算,这样就保证了该线程能够最大限度地处于就绪态,即随时都可以被cpu执行的状态,相当于我们在用户程序级别将自己的io操作最大限度地隐藏起来,从而可以迷惑操作系统,让其看到:该线程好像是一直在计算,io比较少,从而更多的将cpu的执行权限分配给我们的线程

以上内容从其他文章粘贴

三、线程、协程对比

对比操作系统控制线程的切换,用户在单线程内控制协程的切换

优点:

协程的切换开销更小,属于程序级别的切换,操作系统完全感知不到,因而更加轻量级

单线程内就可以实现并发的效果,最大限度地利用cpu

缺点:

1.协程属于单线程,无法利用多核优势,可以用多进程+多线程+协程实现

2.协程也是单线程下运行,一旦阻塞,将阻塞整个线程

协程特点:

四、greenlet

如果我们在单个线程内有多个任务,要想实现在多个任务之间切换,使用yield生成器的方式过于麻烦(需要先得到初始化一次的生成器,然后再调用send。。。非常麻烦),而使用greenlet模块可以非常简单地实现多个任务直接的切换

单纯的切换(在没有io的情况下或者没有重复开辟内存空间的操作),反而会降低程序的执行速度

greenlet只是提供了一种比generator(yield)更加便捷的切换方式,当切到一个任务执行时如果遇到io,那就原地阻塞(不能识别io),仍然是没有解决遇到io自动切换来提升效率的问题

单线程里的多个任务的代码通常既有计算操作又有阻塞操作,我们完全可以在执行任务1时遇到阻塞,就利用阻塞的时间去执行任务2。。。如此,才能提高效率,这就用到了gevent模块

五、gevent

gevent是一个第三方库,可以轻松通过gevent实现并发同步或异步编程,在gevent中用到的主要模式是greenlet,它是以c扩展模块形式接入python的轻量级协程。greenlet全部运行在主程序操作系统进程的内部,但他们被协作式地调度

安装:

pip3 install gevent

用法:

g1=gevent.spawn(func,1,2,3,x=4,y=5)

#创建一个协程对象g1,spawn括号内第一个参数是函数名,如eat,后面可以有多个参数,可以是位置实参或关键字实参,都是传给函数eat的,spawn是异步提交任务

g2=gevent.spawn(func2)

g1.join() #等待g1结束

g2.join() #等待g2结束 有人测试的时候会发现,不写第二个join也能执行g2,是的,协程帮你切换执行了,但是你会发现,如果g2里面的任务执行的时间长,但是不写join的话,就不会执行完等到g2剩下的任务了

#或者上述两步合作一步:

gevent.joinall([g1,g2])

g1.value #拿到func1的返回值

上例gevent.sleep(2)模拟的是gevent可以识别的io阻塞;

而time.sleep(2)或其他的阻塞,gevent是不能直接识别的需要用下面一行代码,打补丁,就可以识别了

from gevent import monkey;

monkey.patch_all() #必须放到被打补丁者的前面,如time,socket模块之前

六、同步、异步