可視化運作Python的神器Jupyter Notebook

簡介

如果我們想要運作Python，通常有兩種方式，第一種方式就是在Python或者IPython的解釋器環境中進行互動式運作，還有一種方式就是程式員最喜歡的編寫.py檔案，在檔案中編寫python代碼，然後運作。

如果我們想寫一篇關于Python的文章，文章裡面有代碼，還希望代碼能夠在目前頁面運作，可不可以做到呢？

可以的，那就是使用我們今天要介紹的Jupyter Notebook。

Jupyter Notebook

Jupyter項目是從Ipython項目中分出去的，在Ipython3.x之前，他們兩個是在一起釋出的。在Ipython4.x之後，Jupyter作為一個單獨的項目進行開發和管理。因為Jupyter不僅僅可以運作Python程式，它還可以執行其他流程程式設計語言的運作。

Jupyter Notebook包括三個部分，第一個部分是一個web應用程式，提供互動式界面，可以在互動式界面中運作相應的代碼。

上圖是NoteBook的互動界面，我們可以對文檔進行編輯，運作等操作。

主要的功能如下：

• 在浏覽器中進行代碼編輯，自動文法突出顯示，縮進和制表符完成/自檢功能。
• 從浏覽器執行代碼的能力，并将計算結果附加到生成它們的代碼上。
• 使用諸如HTML，LaTeX，PNG，SVG等富媒體表示來顯示計算結果。例如，可以内嵌包含matplotlib庫渲染的具有出版品質的圖形。
• 使用Markdown标記語言在浏覽器中對富文本進行的編輯（可以為代碼提供注釋）不僅限于純文字。
• 使用LaTeX輕松在markdown單元中包含數學符号的能力，并由MathJax本地呈現。

第二個部分就是NoteBook的文檔了，這個文檔存儲了要運作的代碼和一些描述資訊。一般這個文檔是以.ipynb的字尾進行存儲的。

notebook文檔是以json的形式存儲的，并用base64進行編碼。使用json的好處就是可以在不同的伺服器中友善的進行資料的互動。

Notebook documents中除了可運作的代碼檔案，還可以存儲說明等解釋性内容，進而将代碼和解釋内容完美結合，尤其适合做學習筆記使用。

筆記本可以通過nbconvert指令導出為多種靜态格式，包括HTML，reStructuredText，LaTeX，PDF等多種格式。

另外文檔還可以友善的在網絡上進行共享。

第三個部分就是代碼運作的核心Kernels，通過不同的Kernels搭配，notebook可以支援運作多種程式。比如：Python，java，go，R，ruby，nodejs等等。

這些Kernels和notebook之間是以Json的形式通過MQ來進行通信的。

啟動notebook server

有了文檔之後，如果我們想要運作文檔，需要啟動notebook server。

jupyter notebook      

預設情況下會開啟下面的URL：

http://127.0.0.1:8888

啟動的時候還可指定要打開的.ipynb檔案：

jupyter notebook my_notebook.ipynb      

具體的notebook界面的操作這裡就不多介紹了，基本上和普通的編譯器差不多。大家可以自行探索。

notebook document 的結構

notebook中包含了多個cells，每個cell中包含了多行文本輸入字段，可以通過Shift-Enter 或者工具欄中的播放按鈕來執行其中的代碼。

這裡的cell有三種類型，分别是code cells，markdown cells和raw cells。

code cells

代碼單元允許您編輯和編寫新代碼，并突出顯示完整的文法和制表符。 您使用的程式設計語言取決于核心，預設核心（IPython）運作Python代碼。

執行代碼單元時，它包含的代碼将發送到與筆記本關聯的核心。 然後，從該計算傳回的結果将在筆記本中顯示為單元格的輸出。 輸出不僅限于文本，還有許多其他可能的輸出形式，包括matplotlib圖形和HTML表格（例如，在pandas資料分析包中使用的表格）。

我們看一個code cells的例子：

#%%
import numpy as np
my_arr = np.arange(1000000)
my_list = list(range(1000000))      

每個單元格是以

#%%

來進行分隔的。

Ipython本身還支援多種富文本的展示格式，包括HTML，JSON，PNG，JPEG，SVG，LaTeX等。

Ipython提供了一個display方法，我們可以使用display來展示要呈現的對象：

from IPython.display import display      

display(obj)

将會尋找這個對象所有可能的展示類型，并從中挑選一個最适合的類型進行展示，并将結果存儲在Notebook文檔裡面。

如果你想展示特定類型的對象，那麼可以這樣：

from IPython.display import (
    display_pretty, display_html, display_jpeg,
    display_png, display_json, display_latex, display_svg
)      

舉個展示圖檔的例子：

from IPython.display import Image
i = Image(filename='../images/ipython_logo.png')
i
display(i)      

上面的例子中i包含了一個Image對象，直接調用i即可展示，我們也可以顯示的調用

display(i)

。

其他的富文本類型可以參考Image，使用方法都是類似的。

markdown cells

markdown是一種簡介的标記語言，使用起來非常簡單，使用範圍非常廣泛，是以notebook document也支援markdown的文法。

先看一個markdown cell的例子：

#%% md
```python
$ python
Python 3.6.0 | packaged by conda-forge | (default, Jan 13 2017, 23:17:12)
[GCC 4.8.2 20140120 (Red Hat 4.8.2-15)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> a = 5
>>> print(a)
5
```      

markdown中的文法在notebook中都是可以用的。

還支援标準的LaTeX 和 AMS-LaTeX文法。

raw cells

原始單元格提供了一個可以直接寫入輸出的位置。 notebook不會對原始單元格中的内容進行計算。

以子產品的形式導入Jupyter Notebooks

有時候我們希望以子產品的形式導入Jupyter Notebooks，但是可惜的是，Jupyter Notebooks并不是一個标準的python程式，不過Python提供了一些鈎子程式，讓我們能夠友善的進行導入。

首先，我們需要導入一些基本的API ：

import io, os, sys, types
from IPython import get_ipython
from nbformat import read
from IPython.core.interactiveshell import InteractiveShell      

接下來需要注冊NotebookFinder到sys.meta_path：

sys.meta_path.append(NotebookFinder())      

這個NotebookFinder就是定義的鈎子。

我們看下NotebookFinder的定義：

class NotebookFinder(object):
    """Module finder that locates Jupyter Notebooks"""
    def __init__(self):
        self.loaders = {}
    def find_module(self, fullname, path=None):
        nb_path = find_notebook(fullname, path)
        if not nb_path:
            return
        key = path
        if path:
            # lists aren't hashable
            key = os.path.sep.join(path)
        if key not in self.loaders:
            self.loaders[key] = NotebookLoader(path)
        return self.loaders[key]      

裡面使用了兩個重要的方法，find_notebook用來找到notebook，和NotebookLoader，用來加載notebook。

看下find_notebook的定義：

def find_notebook(fullname, path=None):
    """find a notebook, given its fully qualified name and an optional path
    This turns "foo.bar" into "foo/bar.ipynb"
    and tries turning "Foo_Bar" into "Foo Bar" if Foo_Bar
    does not exist.
    """
    name = fullname.rsplit('.', 1)[-1]
    if not path:
        path = ['']
    for d in path:
        nb_path = os.path.join(d, name + ".ipynb")
        if os.path.isfile(nb_path):
            return nb_path
        # let import Notebook_Name find "Notebook Name.ipynb"
        nb_path = nb_path.replace("_", " ")
        if os.path.isfile(nb_path):
            return nb_path      

看下NotebookLoader的定義：

class NotebookLoader(object):
    """Module Loader for Jupyter Notebooks"""
    def __init__(self, path=None):
        self.shell = InteractiveShell.instance()
        self.path = path
    def load_module(self, fullname):
        """import a notebook as a module"""
        path = find_notebook(fullname, self.path)
        print ("importing Jupyter notebook from %s" % path)
        # load the notebook object
        with io.open(path, 'r', encoding='utf-8') as f:
            nb = read(f, 4)
        # create the module and add it to sys.modules
        # if name in sys.modules:
        #    return sys.modules[name]
        mod = types.ModuleType(fullname)
        mod.__file__ = path
        mod.__loader__ = self
        mod.__dict__['get_ipython'] = get_ipython
        sys.modules[fullname] = mod
        # extra work to ensure that magics that would affect the user_ns
        # actually affect the notebook module's ns
        save_user_ns = self.shell.user_ns
        self.shell.user_ns = mod.__dict__
        try:
          for cell in nb.cells:
            if cell.cell_type == 'code':
                # transform the input to executable Python
                code = self.shell.input_transformer_manager.transform_cell(cell.source)
                # run the code in themodule
                exec(code, mod.__dict__)
        finally:
            self.shell.user_ns = save_user_ns
        return mod      

有了他們，我們就可以直接import我們自己編寫的notebook了。

本文已收錄于 http://www.flydean.com/12-jupyter-notebook/

最通俗的解讀，最深刻的幹貨，最簡潔的教程，衆多你不知道的小技巧等你來發現！

歡迎關注我的公衆号:「程式那些事」,懂技術，更懂你！