Gunicorn+GeventWorker环境下fork进程意外结束的问题

版权声明：本文为博主原创文章，转载请注明出处。

前言

在使用Gunicorn+GeventWorker托管Flask应用，使用os.fork时出现了以下问题。

1	Parent changed, shutting down : <Worker xxxx>

• 本文摘录自本人毕业设计论文。

问题分析

通过os.fork创建进程，实际上是将当前进程的内存数据复制了一份给子进程，当子进程发现其不是由Gunicorn主进程所创建时，Gunicorn中的GeventWorker会将脱离管理的进程杀死。

由于实现业务功能需要使用WebSocket，而WebSocket通信基于Flask-Sockets实现，Flask-Sockets又在Gunicorn环境中依赖GeventWorker启动，所以导致了无法正常使用os.fork。

根据Gunicorn中GeventWorker源码分析可知，当使用os.fork创建子进程时，其父进程id会发生变化，当子进程受到到来自Gunicorn主进程通知时，会发现其脱离父进程的管理，然后结束子进程本身。

• 以下为Gunicorn中

  gunicorn.workers.ggevent

  包部分代码。

1 2 3 4 5 6

class GeventWorker(AsyncWorker): def notify(self): super().notify() if self.ppid != os.getppid(): self.log.info("Parent changed, shutting down: %s", self) sys.exit(0)

• 定位问题所在确是一大难题，但所幸解决问题的方案其实并不复杂，只需要对GeventWorker的notify方法进行重写即可。
• 由于需要使用WebSocket，实际上是需要对GeventWebSocketWorker的notify方法进行重写。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

import os import sys worker = None fork_killer = True try: from geventwebsocket.gunicorn.workers import GeventWebSocketWorker from gunicorn.workers.base_async import AsyncWorker class SaikaWorker(GeventWebSocketWorker): def notify(self): super(AsyncWorker, self).notify() if fork_killer: # Fix fork child process from self. ppid = os.getppid() if ppid not in [self.ppid, self.pid]: self.log.info("Parent changed, shutting down: %s", self) sys.exit(0) worker = SaikaWorker except ImportError: pass def set_fork_killer(enable=True): """Attention: Must exit fork process...""" global fork_killer fork_killer = enable

• 对于GeventWorker杀死子进程的行为，本人称之为“fork_killer”；并在SaikaWorker对“fork_killer”进行了改进，默认允许在Gunicorn中通过os.fork创建子进程。
• 通过调用

  set_fork_killer

  ，可以彻底关闭“fork_killer”
  • 但脱离管理的子进程，必须要在任务完成后结束进程，否则会出现预期外的情况。