天天看點

python 架構tornado_Python Web架構Tornado運作和部署

運作和部署

因為Tornado内置了自己的HTTPServer,運作和部署它與其他Python web架構不太一樣。你需要寫一個main()函數來啟動服務,而不是配置一個WSGI容器來運作你的應用:

def main():

app = make_app()

app.listen(8888)

IOLoop.current().start()

if __name__ == '__main__':

main()

配置你的作業系統或者程序管理器來運作這個程式以啟動服務。注意,增加每個程序允許打開的最大檔案句柄數是可能是必要的(為了避免“Too many open files” 的錯誤)。為了增加這個上限(例如設定為50000 ) 你可以使用ulimit指令,修改/etc/security/limits.conf 或者設定minfds 在你的supervisord配置中。

程序和端口

由于Python的GIL(全局解釋器鎖),為了充分利用多CPU的機器,運作多個Python 程序是很有必要的。通常,最好是每個CPU運作一個程序。

Tornado包含了一個内置的多程序模式來一次啟動多個程序,這需要一個在main 函數上做點微小的改變:

def main():

app = make_app()

server = tornado.httpserver.HTTPServer(app)

server.bind(8888)

server.start(0) # forks one process per cpu

IOLoop.current().start()

這是最簡單的方式來啟動多程序并讓他們共享同樣的端口,雖然它有一些局限性。首先,每個子程序将有它自己的IOLoop,是以fork之前,不接觸全局 IOLoop 執行個體是重要的(甚至是間接的)。其次,在這個模型中,很難做到零停機 (zero-downtime)更新。最後,因為所有的程序共享相同的端口,想單獨監控它們就更加困難了。

對更複雜的部署,建議啟動獨立的程序,并讓它們各自監聽不同的端口, supervisord 的“程序組(process groups)”功能是一個很好的方式。當每個程序使用不同的端口,一個外部的負載均衡器,例如HAProxy或nginx通常需要對外向訪客提供一個單一的位址。

運作在負載均衡器後面

當運作在一個負載均衡器例如nginx,建議傳遞xheaders=True 給 HTTPServer 的構造器。這将告訴Tornado使用類似 X-Real-IP 這樣的HTTP頭來擷取使用者的IP位址而不是把所有流量都認為來自于負載均衡器的IP位址。

這是一份原始的nginx配置檔案,在結構上類似于我們在FriendFeed所使用的配置。這是假設nginx和Tornado server運作在同一台機器上的,并且四個 Tornado server 正運作在8000 - 8003端口:

user nginx;

worker_processes 1;

error_log /var/log/nginx/error.log;

pid /var/run/nginx.pid;

events {

worker_connections 1024;

use epoll;

}

http {

# Enumerate all the Tornado servers here

upstream frontends {

server 127.0.0.1:8000;

server 127.0.0.1:8001;

server 127.0.0.1:8002;

server 127.0.0.1:8003;

}

include /etc/nginx/mime.types;

default_type application/octet-stream;

access_log /var/log/nginx/access.log;

keepalive_timeout 65;

proxy_read_timeout 200;

sendfile on;

tcp_nopush on;

tcp_nodelay on;

gzip on;

gzip_min_length 1000;

gzip_proxied any;

gzip_types text/plain text/html text/css text/xml

application/x-javascript application/xml

application/atom+xml text/javascript;

# Only retry if there was a communication error, not a timeout

# on the Tornado server (to avoid propagating "queries of death"

# to all frontends)

proxy_next_upstream error;

server {

listen 80;

# Allow file uploads

client_max_body_size 50M;

location ^~ /static/ {

root /var/www;

if ($query_string) {

expires max;

}

}

location = /favicon.ico {

rewrite (.*) /static/favicon.ico;

}

location = /robots.txt {

rewrite (.*) /static/robots.txt;

}

location / {

proxy_pass_header Server;

proxy_set_header Host $http_host;

proxy_redirect off;

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Scheme $scheme;

proxy_pass http://frontends;

}

}

}

靜态檔案和檔案緩存

Tornado中,你可以通過在應用程式中指定特殊的 static_path 來提供靜态檔案服務:

settings = {

"static_path": os.path.join(os.path.dirname(__file__), "static"),

"cookie_secret": "__TODO:_GENERATE_YOUR_OWN_RANDOM_VALUE_HERE__",

"login_url": "/login",

"xsrf_cookies": True,

}

application = tornado.web.Application([

(r"/", MainHandler),

(r"/login", LoginHandler),

(r"/(apple-touch-icon\.png)", tornado.web.StaticFileHandler,

dict(path=settings['static_path'])),

], **settings)

這些設定将自動的把所有以 /static/ 開頭的請求交由static目錄,例如http://localhost:8888/static/foo.png 将會通過指定的static目錄提供 foo.png 檔案。我們也會自動從static目錄提供 /robots.txt 和 /favicon.ico (盡管它們并沒有以 /static/ 字首開始)。

在上面的設定中,我們明确的配置Tornado從 StaticFileHandler 根下擷取 apple-touch-icon.png 檔案,雖然檔案在static檔案目錄中。(正規表達式捕獲組必須告訴 StaticFileHandler 請求的檔案名,調用捕獲組把檔案名作為方法的參數傳遞給處理程式) 你可以做同樣的事情,比如從網站的根提供 sitemap.xml 檔案。 當然,你也可以通過在你的HTML中使用 标簽來避免僞造根目錄的 apple-touch-icon.png 。

為了改善性能,通常情況下,讓浏覽器主動緩存靜态資源是個好主意, 這樣浏覽器就不會發送不必要的可能在渲染頁面時阻塞的 If-Modified-Since 或 Etag 請求了, Tornado使用 靜态内容版本(static content versioning) 來支援此項功能。

為了使用這些功能,在你的模闆中使用 static_url 方法,而不是直接在你的HTML中輸入靜态檔案的URL:

FriendFeed - {{ _("Home") }}

python 架構tornado_Python Web架構Tornado運作和部署

static_url() 函數将把相對路徑翻譯成一個URI類似于 /static/images/logo.png?v=aae54.其中的 v 參數是 logo.png 内容的哈希(hash),并且它的存在使得Tornado服務向使用者的浏覽器發送緩存頭,這将使浏覽器無限期的緩存内容。

因為參數 v 是基于檔案内容的,如果你更新一個檔案并重新開機服務,它将發送一個新的 v 值,是以使用者的浏覽器将會自動的拉去新的檔案。如果檔案的内容沒有改變,浏覽器将會繼續使用本地緩存的副本,而不會從伺服器檢查更新,顯著的提高了渲染性能。

在生産中,你可能想提供靜态檔案通過一個更優的靜态伺服器, 比如nginx,你可以配置任何web伺服器識别通過 static_url() 提供的版本标簽并相應的設定緩存頭。下面是我們在 FriendFeed 使用的nginx相關配置的一部分:

location /static/ {

root /var/friendfeed/static;

if ($query_string) {

expires max;

}

}

Debug模式和自動重載

如果傳遞 debug=True 配置給 Application 的構造函數,應用程式将會運作在debug/開發模式。 在這個模式下,為了友善于開發的一些功能将被啟用( 每一個也可以作為獨立的标簽使用,如果它們都被專門指定,那它們都将獲得獨立的優先級):

autoreload=True: 應用程式将會觀察它的源檔案是否改變,并且當任何檔案改變的時候便重載它自己。這減少了在開發中需要手動重新開機服務的需求。然而,在debug模式下,某些錯誤(例如import的時候有文法錯誤)會導緻服務 關閉,并且無法自動恢複。

compiled_template_cache=False: 模闆将不會被緩存。

static_hash_cache=False: 靜态檔案哈希 (被 static_url 函數使用) 将不會被緩存。

serve_traceback=True: 當一個異常在 RequestHandler 中沒有捕獲,将會生成一個包含調用棧資訊的錯誤頁。

自動重載(autoreload)模式和 HTTPServer 的多程序模式不相容,你不能給 HTTPServer.start 傳遞 1 以外的參數(或者調用 tornado.process.fork_processes) 當你使用自動重載模式的時候。

debug模式的自動重載功能可作為一個獨立的子產品位于 tornado.autoreload。以下兩者可以結合使用,在文法錯誤之時提供額外的健壯性: 設定 autoreload=True 可以在app運作時檢測檔案修改,還有啟動 python -m tornado.autoreload myserver.py 來捕獲任意文法錯誤或者其他的啟動時錯誤。

重載會丢失任何Python解釋器指令行參數(-u). 因為它使用 sys.executable 和 sys.argv 重新執行Python。此外,修改這些變量将造成重載錯誤。

在一些平台(包括Windows 和Mac OSX 10.6之前),程序不能被“原地”更新,是以當檢測到代碼更新,舊服務就會退出然後啟動一個新服務。這已經被公知來混淆一些IDE。

WSGI和Google App Engine

Tornado通常是獨立運作的,不需要一個WSGI容器。然而,在一些環境中 (例如Google App Engine),隻運作WSGI,應用程式不能獨立運作自己的服務。在這種情況下,Tornado支援一個有限制的操作模式,不支援異步操作但允許一個Tornado’s功能的子集在僅WSGI環境中。以下功能在WSGI模式下是不支援的,包括協程,@asynchronous 裝飾器,AsyncHTTPClient,auth 子產品和WebSockets。

你可以使用 tornado.wsgi.WSGIAdapter 把一個Tornado Application 轉換成WSGI應用。在這個例子中, 配置你的WSGI容器發 現 application 對象:

import tornado.web

import tornado.wsgi

class MainHandler(tornado.web.RequestHandler):

def get(self):

self.write("Hello, world")

tornado_app = tornado.web.Application([

(r"/", MainHandler),

])

application = tornado.wsgi.WSGIAdapter(tornado_app)