天天看点

python Gevent – 高性能的Python并发框架 关于gevent gevent注意事项

话说gevent也没个logo啥的,于是就摆了这张图= =|||,首先这是一种叫做greenlet的鸟,而在python里,按照官方解释greenlet是轻量级的并行编程,而gevent呢,就是利用greenlet实现的基于协程的python的网络library,好了,关系理清了。。。

gevent封装了很多很方便的接口,其中一个就是monkey

这样两行,就可以使用python以前的socket之类的,因为gevent已经给你自动转化了,真是超级方便阿。

而且安装gevent也是很方便,首先安装依赖libevent和greenlet,再利用pypi安装即可

然后,gevent中的event,有wait,set等api,方便你可以让某些协程在某些地方等待条件,然后用另一个去唤醒他们。

再就是gevent实现了wsgi可以很方便的当作python的web server服务器使。

最后放送一个我利用gevent实现的一个带有缓存的dns server

##################################

程序及注释如下:

您可以创建几个 greenlet 对象为几个任务。

首先,gevent是一个网络库:libevent是一个事件分发引擎,greenlet提供了轻量级线程的支持。所以它不适合处理有长时间阻塞io的情况。

gevent就是基于这两个东西的一个专门处理网络逻辑的并行库。

1. gevent.spawn启动的所有协程,都是运行在同一个线程之中,所以协程不能跨线程同步数据。

2. gevent.queue.queue 是协程安全的。

3. gevent启动的并发协程,具体到task function,不能有长时间阻塞的io操作。因为gevent的协程的特点是,当前协程阻塞了才会切换到别的协程。

如果当前协程长时间阻塞,则不能显示(gevent.sleep(0),或隐式,由gevent来做)切换到别的协程。导致程序出问题。

4. 如果有长时间阻塞的io操作,还是用传统的线程模型比较好。

5. 因为gevent的特点总结是:事件驱动+协程+非阻塞io,事件驱动值得是libvent对epool的封装,来基于事件的方式处理io。

协程指的是greenlet,非阻塞io指的是gevent已经patch过的各种库,例如socket和select等等。

6. 使用gevent的协程,最好要用gevent自身的非阻塞的库。如httplib, socket, select等等。

7. gevent适合处理大量无阻塞的任务,如果有实在不能把阻塞的部分变为非阻塞再交给gevent处理,就把阻塞的部分改为异步吧。

1. gevent.server.streamserver 会针对每个客户端连接启动一个greenlet处理,要注意的是,如果不循环监听( 阻塞在read ),

每个greenlet会在完成后立即退出,从而导致客户端退出( 发送fin_ack给客户端 )。这个问题折腾了一晚上,终于弄明白了。坑爹啊。。

2. 要非常仔细的检查,greenlet处理的代码,发现有可能阻塞io的地方,尽量用gevent提供的库。

3. 一些第三方库隐藏了自己的实现( 通常是直接封装c库),要使得gevent兼容它们,可以用monkey_patch,但不保证全部管用。

4. 最后最后的一点,gevent的greenlet性能非常高,所以如果是用它作为并发的client端,那么一定要注意,你的server端处理速度一定要足够快!

否则你的客户端代码会因为服务端的慢速,而失去了greenlet的优势。。。

####################################

安装 libevent:apt-get install libevent-dev

安装python-dev:apt-get install python-dev

安装greenlet:easy_install greenlet

安装gevent:easy_install gevent

一个小测试,测试gevent 的任务池