天天看点

如何部署Python Web应用:记录一次Heroku部署完整过程

0.选择heroku云平台

    伴随着云计算的浪潮,国内的云服务可谓多种多样,价格虽然不高,但是真正能够提供永久免费使用的,哪怕有些限制也好,似乎也找不到。

    出于学习/研究/实验/测试或是真正应用等各种需求,这时我们不妨使用把应用部署到国外的heroku云平台上,heroku的免费版除了其提供的postgres数据库有限制之外(小于1万条记录的小型数据库不用付费就可以添加到自己的web应用上),其它都可以免费使用,这绝对是不二的选择。

    另外一点来说,heroku对python的支持非常良好,所以部署起来会轻松很多,这就省去了许多不必要的麻烦了。

    最近要把应用部署到heroku上,这里把完整的部署过程分享给大家。

说明:我使用的操作系统是ubuntu 15.10,部署的python web应用为基于flask的应用,下面的部署过程都是在该操作环境下进行部署,建议大家也在linux环境下进行部署,会方便很多。(当然你有mac book就更好了,只是博主没钱,用不起啦)

1.准备git环境

     要想使用heroku,你的web应用必须要托管在git仓库中,如果你之前一直是使用git的方式来作开发的,那问题就很容易解决了,相信你很明白其中的道理。如果不是的话,请按照下面我的方法来生成一个git仓库,非常简单。

    很多人觉得使用git很麻烦,于是就放弃了heroku平台的使用,这不能不说是一种极大的浪费:

1.首先浪费的是heroku这么好的一个平台资源;

2.然后就是放弃了git这么优秀的版本控制系统的使用

3.再者说就是放弃了linux环境的使用。

    其实这些对于开发来说都是非常有帮助的!所以不要觉得麻烦,只要你以后不是完全做windows平台的开发,这些你都应该要懂,只要慢慢习惯了,后面一切就都很自然了。

第一步:安装git

    以ubuntu为例,可以直接使用下面的命令安装:

1

<code>sudo</code> <code>apt-get </code><code>install</code> <code>git</code>

    当然如果你正在使用的是其它版本的linux发行版本,相信安装方法也不难。

第二步:把你的完整web应用放到一个新的目录中

    比如这里我已经有一个开发完整的web应用,它主要有下面的这些文件和应用:

2

3

4

5

6

7

8

9

10

11

<code>drwxrwxr-x  6 xpleaf xpleaf 4096  1月 29 16:04 .</code>

<code>drwxr-xr-x 38 xpleaf xpleaf 4096  1月 29 16:01 ..</code>

<code>drwxrwxr-x  7 xpleaf xpleaf 4096  1月 29 03:31 app</code>

<code>-rw-rw-r--  1 xpleaf xpleaf 3295  1月 29 03:31 config.py</code>

<code>-rw-rw-r--  1 xpleaf xpleaf 1083  1月 29 03:31 license</code>

<code>-rwxrwxr-x  1 xpleaf xpleaf 2391  1月 29 03:31 manage.py</code>

<code>drwxrwxr-x  3 xpleaf xpleaf 4096  1月 29 03:31 migrations</code>

<code>-rw-rw-r--  1 xpleaf xpleaf   25  1月 29 03:13 procfile</code>

<code>-rw-rw-r--  1 xpleaf xpleaf  376  1月 29 03:31 readme.md</code>

<code>-rw-rw-r--  1 xpleaf xpleaf   76  1月 29 03:13 requirements.txt</code>

<code>drwxrwxr-x  2 xpleaf xpleaf 4096  1月 29 03:31 tests</code>

    然后创建一个名为heroku_pro的文件夹,并把上面完整的web应用程序放进去,如下:

<code>xpleaf@leaf:~</code><code>/heroku_pro</code><code>$ </code><code>pwd</code>

<code>/home/xpleaf/heroku_pro</code>

<code>xpleaf@leaf:~</code><code>/heroku_pro</code><code>$ </code><code>ls</code>

<code>app  config.py  license  manage.py  migrations  readme.md  requirements.txt  tests procfile</code>

    这一步完成!

第三步:在heroku_pro目录下生成一个git仓库

<code>xpleaf@leaf:~</code><code>/heroku_pro</code><code>$ git init</code>

<code>初始化空的 git 版本库于 </code><code>/home/xpleaf/heroku_pro/</code><code>.git/</code>

    这时你会发现在当前目录下多了一个.git的目录:

<code>xpleaf@leaf:~</code><code>/heroku_pro</code><code>$ </code><code>ls</code> <code>-a</code>

<code>.   app        .git     manage.py   readme.md     tests</code>

<code>..  config.py  license  migrations  requirements</code>

    这一步完成。

第四步:把当前目录下的所有文件都托管到本地git仓库

<code>xpleaf@leaf:~/heroku_pro$ git add .</code>

<code>xpleaf@leaf:~/heroku_pro$ git commit -m </code><code>"ver1.0"</code>

<code>[master (根提交) a7cea3f] ver1.</code><code>0</code>

<code> </code><code>78</code> <code>files changed, </code><code>3350</code> <code>insertions(+)</code>

<code> </code><code>create mode </code><code>100644</code> <code>license</code>

<code> </code><code>create mode </code><code>100644</code> <code>readme.md</code>

<code> </code><code>create mode </code><code>100644</code> <code>app/__init__.py</code>

<code> </code><code>create mode </code><code>100644</code> <code>app/api_1_0/__init__.py</code>

<code> </code><code>create mode </code><code>100644</code> <code>app/api_1_0/authentication.py</code>

<code> </code><code>......</code>

    ok,这一步完成。

    关于git的使用显然不是这里要讨论的重点,这里只是为没有用过git的朋友提供一种临时的解决方案。

2.注册heroku账户

    跟目前国内的大多数云平台一样,首先你也需要注册一个账号,可以在下面的链接进行注册:

如何部署Python Web应用:记录一次Heroku部署完整过程

3.安装heroku toolbelt客户端

    toolbelt是heroku的命令行工具,使用该客户端的好处是,我们完全可以在本地通过命令行操作的方式来管理我们托管在heroku上的web应用。

    以ubuntu为例,参考官方的安装文档:

如何部署Python Web应用:记录一次Heroku部署完整过程

<code>wget -o- https:</code><code>//toolbelt</code><code>.heroku.com</code><code>/install-ubuntu</code><code>.sh | sh</code>

4.登陆heroku

    在刚刚的heroku_pro目录下执行下面的命令,登陆到heroku上:

<code>xpleaf@leaf:~</code><code>/heroku_pro</code><code>$ heroku login</code>

<code>enter your heroku credentials.</code>

<code>email: [email protected]</code>

<code>password (typing will be hidden): </code>

<code>logged </code><code>in</code> <code>as [email protected]</code>

<code>xpleaf@leaf:~</code><code>/heroku_pro</code><code>$</code>

    注意登陆成功后的提示:logged in as [email protected]

    需要注意的是,login命令默认会自动为你当前的主机创建ssh公钥并上传,ssh公钥非常重要,在你后面执行git push命令的时候是必须要用到的,不过不用担心,heroku的客户端会自动帮我们处理好。当然你也可以手动上传,只需要执行命令:heroku keys:add。

5.使用heroku客户端创建app程序

    所谓的app程序其实就是herokuapp.com的一个子域名,当你在heroku创建了一个名为my-heroku-app-cn的app程序之后,如果你部署成功,你就可以直接通过地址https://my-heroku-app-cn.herokuapp.com来访问你的web应用,因此名字要注意,不能使用别人已经使用过的。我们下面就来创建一个。

<code>xpleaf@leaf:~</code><code>/heroku_pro</code><code>$ heroku create my-heroku-app-cn</code>

<code>creating my-heroku-app-cn... </code><code>done</code><code>, stack is cedar-14</code>

<code>https:</code><code>//my-heroku-app-cn</code><code>.herokuapp.com/ | https:</code><code>//git</code><code>.heroku.com</code><code>/my-heroku-app-cn</code><code>.git</code>

    当然,其实app程序的名字也是可以改的,你只要登陆官居网,在你的个人信息页里就可以修改。

6.配置数据库

    heroku以扩展的方式支持postgres数据库,只是有些限制而已,正如前面所说。这里我们就使用postgres数据库,这也意味着,你需要在你的web应用源代码中添加相应的数据库路径,这个我们待会再说。

    使用下面的命令配置数据库:

<code>xpleaf@leaf:~</code><code>/heroku_pro</code><code>$ heroku addons:create heroku-postgresql:hobby-dev</code>

<code>creating postgresql-rectangular-17531... </code><code>done</code><code>, (</code><code>free</code><code>)</code>

<code>adding postgresql-rectangular-17531 to my-heroku-app-cn... </code><code>done</code>

<code>setting database_url and restarting my-heroku-app-cn... </code><code>done</code><code>, v3</code>

<code>database has been created and is available</code>

<code> </code><code>! this database is empty. if upgrading, you can transfer</code>

<code> </code><code>! data from another database with pg:copy</code>

<code>use `heroku addons:docs heroku-postgresql` to view documentation.</code>

    出现上面的提示也就说明数据库配置成功了,关于该数据库的详细信息,你也可以到官网的个人中心进行查看,里面有非常详细的说明,如下:

如何部署Python Web应用:记录一次Heroku部署完整过程
如何部署Python Web应用:记录一次Heroku部署完整过程
如何部署Python Web应用:记录一次Heroku部署完整过程

    这里我们需要注意一句话:setting database_url and restarting my-heroku-app-cn... done, v3

    也就是说,heroku自动为我们刚刚创建的my-heroku-app-cn程序创建了一个名为database_url的环境变量,变量的值就是在heroku平台中该数据库的路径地址,这也意味着,如果你想让你的web应用部署成功后可以正常连接上该数据库,就必须在你的源代码中设置数据库的地址为:database_url,仅此而已,其它的heroku会为我们完成,不用担心。

7.配置必要的环境变量

    这不是必要的,这取决于你的web应用的源代码中是否有获取系统环境变量的需要,如果有的话,你可以通过下面的方式进行环境变量的设置。

    比如我在我的源代码的配置文件中有下面的两行代码:

<code>mail_username </code><code>=</code> <code>os.environ.get(</code><code>'mail_username'</code><code>)</code>

<code>mail_password </code><code>=</code> <code>os.environ.get(</code><code>'mail_password'</code><code>)</code>

    显然电子邮件的用户名和密码这些敏感的信息不应该出现在源代码中,所以我是通过获取环境变量的值来知道用户名和密码的,因此我需要在heroku上设置相对应的环境变量,命令如下:

<code>xpleaf@leaf:~</code><code>/heroku_pro</code><code>$ heroku config:</code><code>set</code> <code>mail_username=</code><code>"xpleaf"</code>

<code>setting config vars and restarting my-heroku-app-cn... </code><code>done</code>

<code>mail_username: xpleaf</code>

<code>xpleaf@leaf:~</code><code>/heroku_pro</code><code>$ heroku config:</code><code>set</code> <code>mail_password=</code><code>"***"</code>

<code>mail_password: ***</code>

    当然如果你需要设置其它的环境变量,通过这个方式设置就可以了。

8.使用生产web服务器

    我们知道,在使用django或flask作开发的时候,它们都自带了开发web服务器来连接我们的web应用程序,这对于在开发的过程中来说是再适合不过的了。然而现在我们要做的是在生产环境中部署我们的web应用程序,因此你不可能说还使用原来这些web框架自带的开发服务器,因为性能实在是不可保证,因为它们都是为开发环境设计的web服务器,而不是为生产环境设计的。所以,我们要使用生产环境的web服务器。(ps:请注意web应用程序与web服务器的区别)

    我要部署的web应用程序是基于flask的,所以当然要使用一个支持flask的web服务器软件,这里我使用的是gunicorn。当然,这取决于你使用的是什么web框架,关于这点,可自行去了解。

    选择了要使用gunicorn来作为我的生产环境,我待会只需要把它添加到依赖需求文件中去就可以了。

    当然,你也完全可以把gunicorn下载下来进行本地的测试,由于不是每个人都使用的python web框架都是flask或者使用的生web服务器软件是gunicorn,所以这里就不提及。

9.添加依赖需求文件和profile文件

    这是必需也是非常重要的一点,否则的话部署很难成功!

    heroku要求在我们的web程序(这里针对python的web应用程序)目录中必须要有下面的两个文件:

必需文件

说明

requirements.txt

web应用程序所依赖的各种第三方扩展包

procfile

里面包含的是我的web应用服务器启动时执行的命令

    正如刚刚在我的heroku_pro目录下看到的:

<code>xpleaf@leaf:~</code><code>/heroku_pro</code><code>$ </code><code>ls</code> <code>-l requirements.txt procfile </code>

<code>-rw-rw-r-- 1 xpleaf xpleaf 25  1月 29 03:13 procfile</code>

<code>-rw-rw-r-- 1 xpleaf xpleaf 76  1月 29 03:13 requirements.txt</code>

    注意这两个文件必须位于当前heroku_pro目录下。

    requirements.txt的文件内容类似于这样:

<code>flask==0.10.1</code>

<code>flask-bootstrap==3.0.3.1</code>

<code>flask-httpauth==2.7.0</code>

<code>flask-login==0.3.1</code>

<code>...</code>

<code>sqlalchemy==0.9.9</code>

<code>wtforms==1.0.5</code>

<code>werkzeug==0.10.4</code>

<code>alembic==0.6.2</code>

<code>bleach==1.4.0</code>

    里面包含了支撑我的web应用程序运行的各种扩展包。当然至于内容是什么,取决于你正在开发的web项目。

    而profile文件的内容则类似于这样:

<code>web: gunicorn manage:app</code>

    正如前面所说,里面放的是命令,比如这里的这个命令就是用来启动我前面所说的gunicorn生产环境web服务器的。

    再次说明,这两个文件非常重要,如果没有的话,待会部署就会失败的。

10.执行git push进行部署

    前面的确认无误之后,就可以部署了,当然,如果你临时修改了你当前heroku_pro目录下的文件,请先使用下面的命令提交你的修改:

<code>git add .</code>

<code>git commit -m </code><code>"ver1.0"</code>

    ok,下面就开始部署:

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

<code>xpleaf@leaf:~</code><code>/heroku_pro</code><code>$ git push heroku master</code>

<code>对象计数中: 97, 完成.</code>

<code>delta compression using up to 4 threads.</code>

<code>压缩对象中: 100% (90</code><code>/90</code><code>), 完成.</code>

<code>写入对象中: 100% (97</code><code>/97</code><code>), 35.04 kib | 0 bytes</code><code>/s</code><code>, 完成.</code>

<code>total 97 (delta 22), reused 0 (delta 0)</code>

<code>remote: compressing </code><code>source</code> <code>files... </code><code>done</code><code>.</code>

<code>remote: building </code><code>source</code><code>:</code>

<code>remote: </code>

<code>remote: -----&gt; python app detected</code>

<code>remote: -----&gt; installing runtime (python-2.7.11)</code>

<code>remote: -----&gt; installing dependencies with pip</code>

<code>remote:        collecting flask==0.10.1 (from -r requirements</code><code>/common</code><code>.txt (line 1))</code>

<code>..........</code>

<code>remote: -----&gt; preparing static assets</code>

<code>remote:        collectstatic configuration error. to debug, run:</code>

<code>remote:        $ heroku run python manage.py collectstatic --noinput</code>

<code>remote: -----&gt; discovering process types</code>

<code>remote:        procfile declares types -&gt; web</code>

<code>remote: -----&gt; compressing...</code>

<code>remote:        done: 37.2m</code>

<code>remote: -----&gt; launching...</code>

<code>remote:        released v6</code>

<code>remote:        https:</code><code>//my-heroku-app-cn</code><code>.herokuapp.com/ deployed to heroku</code>

<code>remote: verifying deploy.... </code><code>done</code><code>.</code>

<code>to https:</code><code>//git</code><code>.heroku.com</code><code>/my-heroku-app-cn</code><code>.git</code>

<code> </code><code>* [new branch]      master -&gt; master</code>

    会看到中间有一大堆的输出信息,这是heroku为我们的环境安装所需的软件包,而这些软件包即是前面我们在需求文件中指定的。当然这些操作都是在heroku中执行的,我们本地只是看到它的一个操作过程而已。

    部署完成后,根据我的flask应用所选择的web服务器的启动方式,使用下面的命令来进行启动:

<code>#启动web服务器进行相关初始化配置</code>

<code>xpleaf@leaf:~</code><code>/heroku_pro</code><code>$ heroku run python manage.py deploy    </code>

<code>running python manage.py deploy on my-heroku-app-cn... up, run.7690</code>

<code>info  [alembic.migration] context impl sqliteimpl.</code>

<code>......</code>

<code>info  [alembic.migration] running upgrade 288cd3dc5a8 -&gt; 2356a38169ea, followers</code>

<code>info  [alembic.migration] running upgrade 2356a38169ea -&gt; 51f5ccfba190, comments</code>

<code>#重新启动</code>

<code>xpleaf@leaf:~</code><code>/heroku_pro</code><code>$ heroku restart</code>

<code>restarting dynos... </code><code>done</code>

    上面的完成后,就可以访问我们创建的web应用了:

    当然,当你访问它的时候可能我已经把它关掉了,你可以访问另一个用同样方法部署的应用的地址:

11.升级

    如果你需要对你的源代码修改以增加或删除某些功能,在heroku_pro目录下修改了之后,请依次执行下面的命令:

<code>#告诉heroku,你要进行升级操作</code>

<code>heroku maintenance:on</code>

<code>#提交部署</code>

<code>git push heroku master</code>

<code>#重新运行服务器</code>

<code>heroku run python manage.py deploy</code>

<code>heroku restart</code>

<code>#告诉heroku,升级完成</code>

<code>maintenance:off</code>

    ok,到这里的话,本文就结束了,其实关于部署应用到heroku上,无论你的web应用是基于python开发的,或者是其它语言,都是类似的,只是这里侧重说的是python的web应用。

    当然在实际的部署过程当中可能会遇到各种各样的问题,这时就需要充分发挥你的随机应变能力了,当出现问题时,可以google查找(百度找的资料很少,google上不了就自己想办法吧),或者到stack overflow上面去查找或是提问,同时要根据提示的错误信息去阅读官方的文档来解决存在的问题。

    但不管怎么说,部署python web应用的主要流程是类似于上面所给出的操作,本文相信对初次在heroku上部署python web应用的朋友会有所帮助,写此文,也确实是希望帮到更多的朋友,因为目前国内有关python web部署资源实在不多,更别说部署到国外的云平台上去了。

    好吧,希望帮到有需要的朋友,谢谢大家!

参考:

《flask web development: developing web applications with python》

<a href="https://help.heroku.com/" target="_blank">https://help.heroku.com/</a>

<a href="https://devcenter.heroku.com/articles/getting-started-with-python#introduction" target="_blank">https://devcenter.heroku.com/articles/getting-started-with-python#introduction</a>