天天看点

Python的异步文件IO操作

前一篇提到了用subprocess进行与应用的stdin和stdout交互,目前还是stdout处理得多。项目有这样的要求,需要代码能过同时在Linux和Windows下用,为防止应用挂起,需要进行异步IO操作,这样可通过timeout来处理超时。

麻烦问题又来了:Python2.7.x和Python3.2下的Popen都没有提供基于文件的异步IO操作,且项目必须使用Python2.x,应为较多第三方的库没有Python3.x的版本。

整理了一下异步IO的方法,其实是workaround

Python的异步文件IO操作

1,如果在Linux下,可用用select来处理超时,以此实现异步IO;但在Windows下的select不支出file对象--只支持socket对象,这个方法可以毙掉了。

2,应用有stdout可以获取,那么必然可以将此stdout重定向到文件,然后再对此文件进行read操作。这样对file的read就不会blocking,每读取一行数据就进行退出条件检查以及超时检查,遇到EOF时可进行sleep,然后再continue,再read -- 此时应用还在向文件写入数据,直到满足退出条件或者timeout。如果也需要获取stderr的话,可以把stderr指向stdout,如 'app > output.txt 2<&1'。次方法在Linux和Windows下通用,实践可行,目前没发现有什么大硬伤。

3,重载Popen,实现异步IO操作,尝试了下,bug多,难满足需求,只因本人功力太浅啊。

Reference: Asynchronous I/O For subprocess. Popen PEP-3145