Python 18.1 协程

协程

在学习异步io前我们先了解协程。

协程又叫微线程，纤程。英文名:coroutine。

协程的概念很早就被提出，但是直到近几年才被应用。

子程序或者称为函数，在所有语言中都是层级调用，比如a调用b，b在执行中又调用c，c执行完毕返回，b执行完毕返回，最后a执行完毕。

所以，子程序的调用是通过栈实现的，一个线程就是执行一个子程序。

子程序调用总是一个入口，一次返回，调用顺序是明确的。而协程的调用和子程序不同。

协程看上去也是子程序，但执行过程中，在子程序内部可中断，然后转而执行别的子程序，在适当的时候再返回接着执行。

注意，在一个子程序 内部中断，去执行其他子程序，不是函数调用，有点类似与cpu中断。比如子程序a、b:

def a():

    print('1')

    print('2')

    print('3')

def b():

    print('a')

    print('b')

    print('c')

假设由协程执行，在执行a的过程中，可以随时中断去执行b，b也可能在执行过程中中断去执行a，结果可能是:

1

2

x

y

3

z

但是在a中是没有调用b的，所以，协程的调用比函数的调用理解起来会难一些。

看起来a、b的执行有点像多线程，但协程的特点是在于一个线程执行，那和多线程相比，协程有何优势？

最大的优势是协程的极高执行效率。因为子程序切换不是线程切换，而是由程序自身控制，没有线程切换的开销，和多线程相比，线程的数量越多，协程的优势越明显。

第二大优势不需要多线程的锁机制，因为只有一个线程，也不存在同时写变量的冲突，在协程中控制共享资源不加锁，只需要判断好状态就可以。所以执行效率比多线程高很多。

因为协程是一个线程在执行，那么怎么利用多核cpu呢?最简单的方法是多进程+多线程，既充分利用多核，又充分发挥协程的高效率。获得极高的性能。

python对协程的支持是通过generator实现的。

在generator中，我们不但可以通过for循环不断迭代，还可以不断调用next()函数获得由yield语句返回的下一个值。

但是python的yield不但可以返回一个值，还可以接收调用者发出的参数。

来看例子:

传统的生产者-消费者模型是一个线程写消息，一个线程取消息，通过锁机制控制队列和等待。但一不小心就可能锁死。

如果改用协程，生产者生产消息后，通过yield跳转到消费者开始执行，待消费者执行完毕，切换回生产者继续生产，效率极高:

def consumer():

    r =''

   while true:

        n =yield r

        if not n:

            return

        print('[consumer] consuming %s ...' % n)

        r ='200 ok'

def produce(c):

    c.send(none)

    n =0

    while n <5:

        n =n+1

        print('[producer] producing %s ...' % n)

        r =c.send(n)

        print('[producer] consumer return: %s' % r)

   c.close()

c =consumer()

produce(c)

执行结果:

注意到consuser函数是一个generator，把一个consumer传入produce之后:

1、首先调用c.send(none)启动生成器；

2、然后一旦生产了东西，通过c.send(n)切换到consumer执行；

3、consumer通过yield拿到消息，处理，又通过yield把结果返回；

4、produce拿到consumer返回地结果，继续生产下一条消息；

5、produce决定不生产了，通过c.close()关闭consumer,整个过程完毕。

整个流程无锁，由一个线程执行，produce和consumer协作完成任务，所以称为“协程”，而非线程式的抢占任务。

最后套用donald knuth的一句总结协程的话:

“子程序就是协程的一种特例。”