我們經常需要當一個程序挂了之後能自動被拉起來，保證服務正常運作，這時候可以考慮使用supervisor。
概念
supervisor是用Python開發的一套通用的程序管理程式（ C/S 模型），可以友善的啟動、重新開機、關閉單個或多個程序（包括非 Python 程序）。
supervisor 是類似于一個監管員，它在系統中是一個程序管理工具，當系統程序中斷的時候 supervisor能自動重新啟動它。可以運作在各種類unix的機器上。
supervisor 是一個 C/S 模型的程式，supervisord是server端，supervisorctl是client端。
下載下傳python3-pip的離線安裝包
為了友善後面做離線安裝包，這裡将所有的依賴的包下載下傳到本地，可以友善到無網絡環境下安裝。
apt-get download python3-pip && apt-cache depends -i python3-pip | awk '/Depends:/ {print $2}' | xargs apt-get download
apt-get download python3-distutils && apt-cache depends -i python3-distutils | awk '/Depends:/ {print $2}' | xargs apt-get download
apt-get download python3-setuptools && apt-cache depends -i python3-setuptools | awk '/Depends:/ {print $2}' | xargs apt-get download
apt-get download python3-wheel && apt-cache depends -i python3-wheel | awk '/Depends:/ {print $2}' | xargs apt-get download
本地安裝python3-pip【不需要網絡】
dpkg -i python3-distutils_3.10.6-1~22.04_all.deb
dpkg -i python3-setuptools_59.6.0-1.2_all.deb
dpkg -i python3-wheel_0.37.1-2_all.deb
dpkg -i python3-pip_22.0.2+dfsg-1_all.deb
下載下傳supervisor并安裝
pip3 download supervisor-4.2.5-py2.py3-none-any.whl
pip3 install supervisor-4.2.5-py2.py3-none-any.whl
安裝完成後，可以找到/usr/local/bin/supervisorctl
建立配置
mkdir -p /etc/supervisord/conf.d
echo_supervisord_conf > /etc/supervisord.conf
修改配置
配置末尾的include注釋，改為：
vi /etc/supervisord.conf
[include]
files = /etc/supervisor/conf.d/*.ini ; 打開注釋(;)，将路徑修改為/etc/supervisord/conf.d/
; 這句代碼說明它會加載/etc/supervisor/conf.d/ 檔案夾中的所有.ini配置檔案
[root@bogon etc]# vi /etc/supervisord.conf
去掉注釋前：
;[inet_http_server] ; inet (TCP) server disabled by default
;port=127.0.0.1:9001 ; ip_address:port specifier, *:port for all iface
;username=user ; default is no username (open server)
;password=123 ; default is no password (open server) 去掉之後：
[inet_http_server] ; inet (TCP) server disabled by default
port=*:9001 ; ip_address:port specifier, *:port for all iface
username=root ; default is no username (open server)
password=root ; default is no password (open server) [supervisord]
logfile=/tmp/supervisord.log ; main log file; default $CWD/supervisord.log
logfile_maxbytes=50MB ; max main logfile bytes b4 rotation; default 50MB
logfile_backups=10 ; # of main logfile backups; 0 means none, default 10
loglevel=info ; log level; default info; others: debug,warn,trace
pidfile=/tmp/supervisord.pid ; supervisord pidfile; default supervisord.pid
nodaemon=false ; start in foreground if true; default false
silent=false ; no logs to stdout if true; default false
minfds=1024 ; min. avail startup file descriptors; default 1024
minprocs=200 ; min. avail process descriptors;default 200
;umask=022 ; process file creation umask; default 022
;user=supervisord ; setuid to this UNIX account at startup; recommended if root
;identifier=supervisor ; supervisord identifier, default is 'supervisor'
;directory=/tmp ; default is not to cd during start
;nocleanup=true ; don't clean up tempfiles at start; default false
;childlogdir=/tmp ; 'AUTO' child log dir, default $TEMP
;environment=KEY="value" ; key value pairs to add to environment
;strip_ansi=false ; strip ansi escape codes in logs; def. false
; The rpcinterface:supervisor section must remain in the config file for
; RPC (supervisorctl/web interface) to work. Additional interfaces may be
; added by defining them in separate [rpcinterface:x] sections. 
将;user=supervisord修改為user=root
啟動服務
supervisord -c /etc/supervisord.conf
啟動完成後可以使用ps -ef|grep supervisor指令檢視程序
root@lj-default-string:/usr/local/SINO/package# ps -ef|grep supervisor
root 1159338 1 0 16:46 ? 00:00:00 /usr/bin/python3 /usr/local/bin/supervisord -c /etc/supervisord.conf
root 1202622 639110 0 17:17 pts/1 00:00:00 grep --color=auto supervisor
root@lj-default-string:/usr/local/SINO/package# 浏覽器檢視服務狀态
http://ip:9001 然後輸入使用者名和密碼
即可登入supervisor web管理頁面，其界面如下
配置檔案詳解
; Sample supervisor config file.
[unix_http_server]
file=/var/run/supervisor/supervisor.sock ; socket 路徑
;chmod=0700 ; socket 檔案的權限
;chown=nobody:nogroup ; socket 所屬使用者及組
;username=user ; 使用者名
;password=123 ; 密碼
;[inet_http_server] ; 是否啟用服務，預設是關閉的（啟用的話可以看到supervisor 管理的服務狀态）
;port=127.0.0.1:9001 ; 監聽的IP及端口
;username=user ; 使用者名
;password=123 ; 密碼
[supervisord] ; supervisord 全局配置
logfile=/var/log/supervisor/supervisord.log ; supervisor 日志路徑
logfile_maxbytes=50MB ; 單個日志檔案最大數
logfile_backups=10 ; 保留多少個日志檔案（預設10個）
loglevel=info ; (log level;default info; others: debug,warn,trace)
pidfile=/var/run/supervisord.pid ; pid 檔案路徑
nodaemon=false ; 啟動是否丢到前台，設定為false ，表示以daemon 的方式啟動
minfds=1024 ; 最小檔案打開數，對應系統limit.conf 中的nofile ,預設最小為1024，最大為4096
minprocs=200 ; 最小的程序打開數，對應系統的limit.conf 中的nproc,預設為200
;umask=022 ; (process file creation umask;default 022)
;user=chrism ; 啟動supervisord 服務的使用者，預設為root
;identifier=supervisor ; (supervisord identifier, default is 'supervisor')
;directory=/tmp ; 這裡的目錄指的是服務的工作目錄
;nocleanup=true ; (don't clean up tempfiles at start;default false)
;childlogdir=/tmp ; ('AUTO' child log dir, default $TEMP)
;environment=KEY=value ; (key value pairs to add to environment)
;strip_ansi=false ; (strip ansi escape codes in logs; def. false)
; the below section must remain in the config file for RPC
; (supervisorctl/web interface) to work, additional interfaces may be
; added by defining them in separate rpcinterface: sections
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface
[supervisorctl]
serverurl=unix:///var/run/supervisor/supervisor.sock ; use a unix:// URL for a unix socket
;serverurl=http://127.0.0.1:9001 ; use an http:// url to specify an inet socket
;username=chris ; should be same as http_username if set
;password=123 ; should be same as http_password if set
;prompt=mysupervisor ; cmd line prompt (default "supervisor")
;history_file=~/.sc_history ; use readline history if available
; The below sample program section shows all possible program subsection values,
; create one or more 'real' program: sections to be able to control them under
; supervisor.
;[program:theprogramname] ; 定義一個守護程序 ，比如下面的elasticsearch
;command=/bin/cat ; 啟動程式使用的指令，可以是絕對路徑或者相對路徑
;process_name=%(program_name)s ; 一個python字元串表達式，用來表示supervisor程序啟動的這個的名稱，預設值是%(program_name)s
;numprocs=1 ; Supervisor啟動這個程式的多個執行個體，如果numprocs>1，則process_name的表達式必須包含%(process_num)s，預設是1
;directory=/tmp ; supervisord在生成子程序的時候會切換到該目錄
;umask=022 ; umask for process (default None)
;priority=999 ; 權重，可以控制程式啟動和關閉時的順序，權重越低：越早啟動，越晚關閉。預設值是999
;autostart=true ; 如果設定為true，當supervisord啟動的時候，程序會自動啟動
;autorestart=true ; 設定為随 supervisord 重新開機而重新開機，值可以是false、true、unexpected。false：程序不會自動重新開機
;startsecs=10 ; 程式啟動後等待多長時間後才認為程式啟動成功，預設是10秒
;startretries=3 ; supervisord嘗試啟動一個程式時嘗試的次數。預設是3
;exitcodes=0,2 ; 一個預期的退出傳回碼，預設是0,2。
;stopsignal=QUIT ; 當收到stop請求的時候，發送信号給程式，預設是TERM信号，也可以是 HUP, INT, QUIT, KILL, USR1, or USR2
;stopwaitsecs=10 ; 在作業系統給supervisord發送SIGCHILD信号時等待的時間
;user=chrism ; 如果supervisord以root運作，則會使用這個設定使用者啟動子程式
;redirect_stderr=true ; 如果設定為true，程序則會把标準錯誤輸出到supervisord背景的标準輸出檔案描述符
;stdout_logfile=/a/path ; 把程序的标準輸出寫入檔案中，如果stdout_logfile沒有設定或者設定為AUTO，則supervisor會自動選擇一個檔案位置
;stdout_logfile_maxbytes=1MB ; 标準輸出log檔案達到多少後自動進行輪轉，機關是KB、MB、GB。如果設定為0則表示不限制日志檔案大小
;stdout_logfile_backups=10 ; 标準輸出日志輪轉備份的數量，預設是10，如果設定為0，則不備份
;stdout_capture_maxbytes=1MB ; 當程序處于stderr capture mode模式的時候，寫入FIFO隊列的最大bytes值，機關可以是KB、MB、GB
;stdout_events_enabled=false ; 如果設定為true，當程序在寫它的stderr
;stderr_logfile=/a/path ; 把程序的錯誤日志輸出一個檔案中，除非redirect_stderr參數被設定為true
;stderr_logfile_maxbytes=1MB ; 錯誤log檔案達到多少後自動進行輪轉，機關是KB、MB、GB。如果設定為0則表示不限制日志檔案大小
;stderr_logfile_backups=10 ; 錯誤日志輪轉備份的數量，預設是10，如果設定為0，則不備份
;stderr_capture_maxbytes=1MB ; 當程序處于stderr capture mode模式的時候，寫入FIFO隊列的最大bytes值，機關可以是KB、MB、GB
;stderr_events_enabled=false ; 如果設定為true，當程序在寫它的stderr到檔案描述符的時候，PROCESS_LOG_STDERR事件會被觸發
;environment=A=1,B=2 ; 一個k/v對的list清單
;serverurl=AUTO ; 是否允許子程序和内部的HTTP服務通訊，如果設定為AUTO，supervisor會自動的構造一個url
; The below sample eventlistener section shows all possible
; eventlistener subsection values, create one or more 'real'
; eventlistener: sections to be able to handle event notifications
; sent by supervisor.
#這個地方是自定義一個守護程序
[program:elasticsearch] ; 定義一個守護程序 elasticsearch
environment=ES_HOME=/usr/local/elasticsearch ; 設定ES_HOME 環境變量
user=elk ; 啟動elasticsearch 的使用者
directory=/usr/local/elasticsearch ; 進入到這個目錄中
command=/usr/local/elasticsearch/bin/elasticsearch ; 執行啟動指令
numprocs=1 ; Supervisor啟動這個程式的多個執行個體，如果numprocs>1，則process_name的表達式必須包含%(process_num)s，預設是1
autostart=true ; 設定為随 supervisord 啟動而啟動
autorestart=true ; 設定為随 supervisord 重新開機而重新開機
startretries=3 ; 設定elasticsearch 重新開機的重試次數
priority=1 ; 權重，可以控制程式啟動和關閉時的順序，權重越低：越早啟動，越晚關閉。預設值是999
;[eventlistener:theeventlistenername]
;command=/bin/eventlistener ; the program (relative uses PATH, can take args)
;process_name=%(program_name)s ; process_name expr (default %(program_name)s)
;numprocs=1 ; number of processes copies to start (def 1)
;events=EVENT ; event notif. types to subscribe to (req'd)
;buffer_size=10 ; event buffer queue size (default 10)
;directory=/tmp ; directory to cwd to before exec (def no cwd)
;umask=022 ; umask for process (default None)
;priority=-1 ; the relative start priority (default -1)
;autostart=true ; start at supervisord start (default: true)
;autorestart=unexpected ; restart at unexpected quit (default: unexpected)
;startsecs=10 ; number of secs prog must stay running (def. 1)
;startretries=3 ; max # of serial start failures (default 3)
;exitcodes=0,2 ; 'expected' exit codes for process (default 0,2)
;stopsignal=QUIT ; signal used to kill process (default TERM)
;stopwaitsecs=10 ; max num secs to wait b4 SIGKILL (default 10)
;user=chrism ; setuid to this UNIX account to run the program
;redirect_stderr=true ; redirect proc stderr to stdout (default false)
;stdout_logfile=/a/path ; stdout log path, NONE for none; default AUTO
;stdout_logfile_maxbytes=1MB ; max # logfile bytes b4 rotation (default 50MB)
;stdout_logfile_backups=10 ; # of stdout logfile backups (default 10)
;stdout_events_enabled=false ; emit events on stdout writes (default false)
;stderr_logfile=/a/path ; stderr log path, NONE for none; default AUTO
;stderr_logfile_maxbytes=1MB ; max # logfile bytes b4 rotation (default 50MB)
;stderr_logfile_backups ; # of stderr logfile backups (default 10)
;stderr_events_enabled=false ; emit events on stderr writes (default false)
;environment=A=1,B=2 ; process environment additions
;serverurl=AUTO ; override serverurl computation (childutils)
; The below sample group section shows all possible group values,
; create one or more 'real' group: sections to create "heterogeneous"
; process groups.
;[group:thegroupname] ; 服務組管理，可以将多個服務名寫到這裡管理(組名自定義）
;programs=progname1,progname2 ; 上面配置好的服務名，比如elasticsearch,kibana,logstash
;priority=999 ; the relative start priority (default 999)
; The [include] section can just contain the "files" setting. This
; setting can list multiple files (separated by whitespace or
; newlines). It can also contain wildcards. The filenames are
; interpreted as relative to this file. Included files *cannot*
; include files themselves.
[include]
files = /etc/supervisord.d/*.ini ; 具體程序
下面到了最關鍵步驟，自己定義一個ini檔案，将需要守護的程序的配置放到
/etc/supervisor/conf.d/這個目錄下，如下圖
[program:main_sound_belt]
user=jetson
directory=/mnt/aialgorithm/
command=python3 main_sound_belt.py
autostart=true
autorestart=true
startretries=1
redirect_stderr=true
stdout_logfile=/mnt/aialgorithm/log/main_sound_belt.log
stderr_logfile=/mnt/aialgorithm/log/main_sound_belt.log
stdout_logfile_maxbytes=1MB
stdout_logfile_backups=5
nodaemon=true
environment=OPENBLAS_CORETYPE=ARMV8, LD_PRELOAD=/mnt/aialgorithm/lib/scikit_learn.libs/libgomp-d22c30c5.so.1.0.0 注意上面的environment表示啟動時需要的環境變量。
修改項目配置檔案後，重新加載
root@lj-default-string:/usr/local/SINO/package# supervisorctl reload
Restarted supervisord 啟動成功可以在網頁上面看到running的狀态