一、介绍
什么是并发?
并发的本质就是切换+保存状态
cpu正在运行一个任务,会在两种情况下切走去执行其他的任务(切换由操作系统强制控制):
1.任务发生阻塞
2.计算任务时间过长,需要让出cpu给高优先级的程序
协程,又称微线程,是一种用户态的轻量级线程。协程能保留上一次调用时的状态,每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开时所处逻辑流的位置,当程序中存在大量不需要cpu的操作时(io),适用于协程。
协程本质上就是一个线程,以前线程任务的切换是由操作系统控制的,遇到i/o自动切换,现在我们用协程的目的就是较少操作系统切换的开销(开关线程,创建寄存器、堆栈等,在他们之间进行切换等),在我们自己的程序里面来控制任务的切换
进程有三种状态,而线程是进程的执行最小单位,所以也是线程的三种状态
二、协程切换
1.yield是一种在单线程下可以保存任务运行状态的方法
通过yield实现任务切换+保存线程:
注: yield并不能检测io,实现自动切换
import time
协程就是告诉cpython解释器,不是搞了个gil锁吗,那好,我就自己搞成一个线程让你去执行,省去你切换线程的时间,我自己切换比你切换要快很多,避免了很多的开销。
对于单线程下,我们不可避免程序中出现io操作,但如果我们能在自己的程序中(即用户程序级别,而非操作系统级别)控制单线程下的多个任务能在一个任务遇到io阻塞时就切换到另外一个任务去计算,这样就保证了该线程能够最大限度地处于就绪态,即随时都可以被cpu执行的状态,相当于我们在用户程序级别将自己的io操作最大限度地隐藏起来,从而可以迷惑操作系统,让其看到:该线程好像是一直在计算,io比较少,从而更多的将cpu的执行权限分配给我们的线程
以上内容从其他文章粘贴
三、线程、协程对比
对比操作系统控制线程的切换,用户在单线程内控制协程的切换
优点:
协程的切换开销更小,属于程序级别的切换,操作系统完全感知不到,因而更加轻量级
单线程内就可以实现并发的效果,最大限度地利用cpu
缺点:
1.协程属于单线程,无法利用多核优势,可以用多进程+多线程+协程实现
2.协程也是单线程下运行,一旦阻塞,将阻塞整个线程
协程特点:
四、greenlet
如果我们在单个线程内有多个任务,要想实现在多个任务之间切换,使用yield生成器的方式过于麻烦(需要先得到初始化一次的生成器,然后再调用send。。。非常麻烦),而使用greenlet模块可以非常简单地实现多个任务直接的切换
单纯的切换(在没有io的情况下或者没有重复开辟内存空间的操作),反而会降低程序的执行速度
greenlet只是提供了一种比generator(yield)更加便捷的切换方式,当切到一个任务执行时如果遇到io,那就原地阻塞(不能识别io),仍然是没有解决遇到io自动切换来提升效率的问题
单线程里的多个任务的代码通常既有计算操作又有阻塞操作,我们完全可以在执行任务1时遇到阻塞,就利用阻塞的时间去执行任务2。。。如此,才能提高效率,这就用到了gevent模块
五、gevent
gevent是一个第三方库,可以轻松通过gevent实现并发同步或异步编程,在gevent中用到的主要模式是greenlet,它是以c扩展模块形式接入python的轻量级协程。greenlet全部运行在主程序操作系统进程的内部,但他们被协作式地调度
安装:
pip3 install gevent
用法:
g1=gevent.spawn(func,1,2,3,x=4,y=5)
#创建一个协程对象g1,spawn括号内第一个参数是函数名,如eat,后面可以有多个参数,可以是位置实参或关键字实参,都是传给函数eat的,spawn是异步提交任务
g2=gevent.spawn(func2)
g1.join() #等待g1结束
g2.join() #等待g2结束 有人测试的时候会发现,不写第二个join也能执行g2,是的,协程帮你切换执行了,但是你会发现,如果g2里面的任务执行的时间长,但是不写join的话,就不会执行完等到g2剩下的任务了
#或者上述两步合作一步:
gevent.joinall([g1,g2])
g1.value #拿到func1的返回值
上例gevent.sleep(2)模拟的是gevent可以识别的io阻塞;
而time.sleep(2)或其他的阻塞,gevent是不能直接识别的需要用下面一行代码,打补丁,就可以识别了
from gevent import monkey;
monkey.patch_all() #必须放到被打补丁者的前面,如time,socket模块之前
六、同步、异步