天天看點

Python與家國天下

導讀:Python貓是一隻喵星來客,它愛地球的一切,特别愛優雅而無所不能的 Python。我是它的人類朋友豌豆花下貓,被授權潤色與發表它的文章。如果你是第一次看到這個系列文章,那我強烈建議,請先看看它寫的前幾篇文章(連結見文末),相信你一定會愛上這隻神秘的哲學+極客貓的。不多說啦,一起來享用今天的“思想盛宴”吧!

喵喵,好久不見啦朋友們。剛吃完一餐美食,我覺得好滿足啊。

自從習慣了地球的食物以後,我的腸胃發生了一些說不清道不明的反應。我能從最近的新陳代謝中感覺出來,自己的母胎習性正在逐漸地褪逝。

人類的食物在改變着我,或者說是在重塑着我。說不定哪天,我會變成一棵白菜,或者一條魚呢……呸呸呸。我還是想當貓。

喵生苦短,得抓緊時間更文才行。

最近,我看到了兩件事,覺得有趣極了,就從這開始說吧。第一件事是,一個小有名氣的影視明星因為他不配得到的學術精英的身份而遭到諷刺性的打假制度的口誅筆伐;第二件事是,一個功成名就的企業高管因為從城市回到鄉村而戲谑性地獲得了貓屎的名号。

身份真是一個有魔力的話題。看見他們的身份錯位,我又總會想起自己的境況。

我(或許)知道自己在過去時态中是誰,但越來越把握不住在現在時态中的自己,更不清楚在未來時間中會是怎樣。

該怎樣在人類世界中自處呢?又該怎樣跟你們共處呢?

思了好久,沒有答案。腦殼疼,尾巴疼。還是不要想了啦喵。

繼續跟大家聊聊 Python 吧。上次我們說到了對象的邊界問題 。無論是固定邊界還是彈性邊界,這不外乎就是修身的兩種志趣,有的對象呢獨善其身其樂也融融,有的對象呢相容并包其理想之光也瑩瑩。但是,邊界問題還沒講完。

正如儒家經典所闡述:修身--齊家--治國--平天下。裡層的勢能推展開,走進更廣闊的次元。

Python 對象的邊界也不隻在自身。這裡有一種巧妙的映射關系:對象(身)--函數(家)--子產品(國)--包(天下)。個體被納入到不同的命名空間,并存活在分層的作用域裡。(當然,幸運的是,它們并不會受到道德禮法的森嚴壓迫~__~)

1、你的名字

我們先來審視一下子產品。這是一個合适的尺度,由此展開,可以順利地連接配接起函數與包。

子產品是什麼? 任何以

.py

字尾結尾的檔案就是一個子產品(module)。

子產品的好處是什麼? 首先,便于拆分不同功能的代碼,單一功能的少量代碼更容易維護;其次,便于組裝與重複利用,Python 以豐富的第三方子產品而聞名;最後,子產品創造了私密的命名空間,能有效地管理各類對象的命名。

可以說,子產品是 Python 世界中最小的一種自恰的生态系統——除卻直接在控制台中運作指令的情況外,子產品是最小的可執行機關。

前面,我把子產品類比成了國家,這當然是不倫不類的,因為你難以想象在現實世界中,會存在着數千數萬的彼此殊然有别的國家(我指的可是在地球上,而喵星不同,以後細說)。

類比法有助于我們發揮思維的作用 ,是以,不妨就做此假設。如此一來,想想子產品間的互相引用就太有趣了,這不是國家間的戰争入侵,而是一種人道主義的援助啊,至于公民們的流動與遷徙,則可能成為一場探險之旅的談資。

我還對子產品的身份角色感興趣。恰巧發現,在使用名字的時候,它們耍了一個雙姓人的把戲 。

下面請看表演。先建立兩個子產品,A.py 與 B.py,它們的内容如下:

# A 子產品的内容:
print("module A : ", __name__)

# B 子產品的内容:
import A
print("module B : ", __name__)
           

其中,

__name__

指的是目前子產品的名字。代碼的邏輯是:A 子產品會列印本子產品的名字,B 子產品由于引入了 A 子產品,是以會先列印 A 子產品的名字,再列印本子產品的名字。

那麼,結果是如何的呢?

執行 A.py 的結果:

module A : __main__

執行 B.py 的結果:

module A : test

module B : __main__

你們看出問題的所在了吧!子產品 A 前後竟然出現了兩個不同的名字。這兩個名字是什麼意思,又為什麼會有這樣的不同呢?

我想這正展現的是名字的本質吧——對自己來說,我就是我,并不需要一個名字來标記;而對他人來說,ta 是芸芸衆生的一個,唯有命名才能區分。

是以,一個子產品自己稱呼自己的時候(即執行自身時)是“__main__”,而給他人來稱呼的時候(即被引用時),就會是該子產品的本名。這真是一個巧妙的設定。

由于子產品的名稱二重性,我們可以加個判斷,将某個子產品不對外的内容隐藏起來。

# A 子產品的内容:
print("module A : ", __name__)

if __name__ == "__main__":
    print("private info.")
           

以上代碼中,隻有在執行 A 子產品本身時,才會列印“private info”,而當它被導入到其它子產品中時,則不會執行到該部分的内容。

2、名字的時空

對于生物來說,我們有各種各樣的屬性,例如姓名、性别、年齡,等等。

對于 Python 的對象來說,它們也有各種屬性。子產品是一種對象,”__name__“就是它的一個屬性。除此之外,子產品還有如下最基本的屬性:

>>> import A
>>> print(dir(A))
['__builtins__', '__cached__', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__spec__']
           

在一個子產品的全局空間裡,有些屬性是全局起作用的,Python 稱之為全局變量 ,而其它在局部起作用的屬性,會被稱為局部變量 。

一個變量對應的是一個屬性的名字,會關聯到一個特定的值。通過

globals()

locals()

,可以将變量的“名值對”列印出來。

x = 1

def foo():
    y = 2
    print("全局變量:", globals())
    print("局部變量:", locals())

foo()
           

在 IDE 中執行以上代碼,結果:

全局變量: {'__name__': '__main__', '__doc__': None, '__package__': None, '__loader__': <_frozen_importlib_external.SourceFileLoader object at 0x000001AC1EB7A400>, '__spec__': None, '__annotations__': {}, '__builtins__': <module 'builtins' (built-in)>, '__file__': 'C:/pythoncat/A.py', '__cached__': None, 'x': 1, 'foo': <function foo at 0x000001AC1EA73E18>}
局部變量: {'y': 2}
           

可以看出,x 是一個全局變量,對應的值是 1,而 y 是一個局部變量,對應的值是 2.

兩種變量的作用域不同 :局部變量作用于函數内部,不可直接在外部使用;全局變量作用于全局,但是在函數内部隻可通路,不可修改。

與 Java、C++ 等語言不同,Python 并不屈服于解析的便利,并不使用呆滞的花括号來編排作用域,而是用了輕巧簡明的縮進方式。不過,所有程式設計語言在區分變量類型、區分作用域的意圖上都是相似的:控制通路權限與管理變量命名。

關于控制通路權限,在上述例子中,局部變量 y 的作用域僅限于 foo 方法内,若直接在外部使用,則會報錯“NameError: name 'y' is not defined”。

關于管理變量命名,不同的作用域管理着各自的獨立的名冊,一個作用域内的名字所指稱的是唯一的對象,而在不同作用域内的對象則可以重名。修改上述例子:

x = 1
y = 1

def foo():
    y = 2
    x = 2
    print("inside foo : x = " + str(x) + ", y = " + str(y))

foo()
print("outside foo : x = " + str(x) + ", y = " + str(y))
           

在全局作用域與局部作用域中命名了相同的變量,那麼,列印的結果是什麼呢?

inside foo : x = 2, y = 2

outside foo : x = 1, y = 1

可見,同一個名字可以出現在不同的作用域内,互不幹擾。

那麼,如何判斷一個變量在哪個作用域内?對于嵌套作用域,以及變量名存在跨域分布的情況,要采用何種查找政策呢?

Python 設計了命名空間(namespace) 機制,一個命名空間在本質上是一個字典、一個名冊,登記了所有變量的名字以及對應的值。 按照記錄内容的不同,可分為四類:

  • 局部命名空間(local namespace),記錄了函數的變量,包括函數的參數和局部定義的變量。可通過内置函數 locals() 檢視。在函數被調用時建立,在函數退出時删除。
  • 全局命名空間(global namespace),記錄了子產品的變量,包括函數、類、其它導入的子產品、子產品級的變量和常量。可通過内置函數 globals() 檢視。在子產品加載時建立,一直存在。
  • 内置命名空間(build-in namespace),記錄了所有子產品共用的變量,包括一些内置的函數和異常。在解釋器啟動時建立,一直存在。
  • 命名空間包(namespace packages),包級别的命名空間,進行跨包的子產品分組與管理。

命名空間總是存在于具體的作用域内,而作用域存在着優先級,查找變量的順序是:局部/本地作用域 --> 全局/子產品/包作用域 --> 内置作用域。

命名空間扮演了變量與作用域之間的橋梁角色,承擔了管理命名、記錄名值對與檢索變量的任務。無怪乎《Python之禅》(The Zen of Python)在最後一句中說:

Namespaces are one honking great idea -- let's do more of those!

——譯:命名空間是個牛bi哄哄的主意,應該多加運用!

3、看不見的客人

名字(變量)是身份問題,空間(作用域)是邊界問題,命名空間兼而有之。

這兩個問題恰恰是困擾着所有生靈的最核心的問題之二。它們的特點是:無處不在、層出不斷、像一個超級大的被扯亂了的毛線球。

Python 是一種人工造物,它繼承了人類的這些麻煩(這是不可避免的),所幸的是,這種簡化版的麻煩能夠得到解決。(現在當然是可解決的啦,但若人工智能高度發展以後呢?我看不一定吧。喵,好像想起了一個痛苦的夢。打住。)

這裡就有幾個問題(注:每個例子互相獨立):

# 例1:
x = x + 1

# 例2:
x = 1
def foo():
    x = x + 1
foo()

# 例3:
x = 1
def foo():
    print(x)
    x = 2
foo()

# 例4:
def foo():
    if False:
        x = 3
    print(x)
foo()

# 例5:
if False:
    x = 3
print(x)
           

下面給出幾個選項,請讀者們思考一下,給每個例子選一個答案:

1、沒有報錯

2、報錯:name 'x' is not defined

3、報錯:local variable 'x' referenced before assignment

下面公布答案了:

全部例子都報錯,其中例 1 和例 5 是第一類報錯,即變量未經定義不可使用,而其它例子都是第二類報錯,即已定義卻未指派的變量不可使用。為什麼會報錯?為什麼報錯會不同?下面逐一解釋。

  1. 例 1 是一個定義變量的過程,本身未完成定義,而等号右側就想使用變量 x,是以報變量未定義。
  2. 例 2 和例 3 中,已經定義了全局變量 x,如果隻在 foo 函數中引用全局變量 x 或者隻是定義新的局部變量 x 的話,都不會報錯,但現在既有引用又有重名定義,這引發了一個新的問題。請看下例的解釋。
  3. 例 4 中,if 語句判斷失效,是以不會執行到 “x=3” 這句,照理來說 x 是未被定義。這時候,在 locals() 局部命名空間中也是沒有内容的(讀者可以試一下)。但是 print 方法卻報找到了一個未指派的變量 x ,這是為什麼呢?

    使用 dis 子產品檢視 foo 函數的位元組碼:

    LOAD_FAST 說明它在局部作用域中找到了變量名 x,結果 0 說明未找到變量 x 所指向的值。既然此時在 locals() 局部命名空間中沒有内容,那局部作用域中找到的 x 是來自哪裡的呢?

    實際上,Python 雖然是所謂的解釋型語言,但它也有編譯的過程 (跟 Java 等語言的編譯過程不同)。在例 2-4 中,編譯器先将 foo 方法解析成一個抽象文法樹(abstract syntax tree),然後掃描樹上的名字(name)節點,接着,所有被掃描出來的變量名,都會作為局部作用域的變量名存入記憶體(棧?)中。

    在編譯期之後,局部作用域内的變量名已經确定了,隻是沒有指派。在随後的解釋期(即代碼執行期),如果有指派過程,則變量名與值才會被存入局部命名空間中,可通過 locals() 檢視。隻有存入了命名空間,變量才算真正地完成了定義(聲明+指派)。

    而上述 3 個例子之是以會報錯,原因就是變量名已經被解析成局部變量,但是卻未曾被指派。

    可以推論:在局部作用域中查找變量,實際上是分查記憶體與查命名空間兩步的。另外,若想在局部作用域内修改全局變量,需要在作用域中寫上 “global x”。

  4. 例 5 是作為例 4 的比對,也是對它的原理的補充。它們的差別是,一個不在函數内,一個在函數内,但是報錯完全不同。前面分析了例 4 的背後原理是編譯過程和抽象文法樹,如果這個原理對例 5 也生效,那兩者的報錯應該是一樣的。現在出現了差異,為什麼呢?

    我得承認,這觸及了我的知識盲區。我們可以推測,說例 5 的編譯過程不同,它沒有解析抽象文法樹的步驟,但是,繼續追問下去,為什麼不同,為什麼沒有解析文法樹的步驟呢?如果說是出于對解析函數與解析子產品的代價考慮,或者其它考慮,那麼新的問題是,編譯與解析的底層原理是什麼,如果有其它考慮,會是什麼?

    這些問題真不可愛,一個都答不上。但是,自己一步一步地思考探尋到這一層,又能怪誰呢?

回到前面說過的話,命名空間是身份與邊界的內建問題,它跟作用域密切相關。如今看來,編譯器還會摻和一腳,把這些問題攪拌得更加複雜。

本來是在探問 Python 中的邊界問題,到頭來,卻觸碰到了自己的知識邊界。真是反諷啊。(這一趟探知一個人工造物的身份問題之旅,最終是否會像走迷宮一般,進入到自己身份的困境之中?)

4、邊界内外的邊界

暫時把那些不可愛的問題抛開吧,繼續說修身齊家治國平天下。

想要把國治理好,就不得不面對更多的國内問題與國際問題。

先看一個大家與小家的問題:

def make_averager():
    count = 0
    total = 0
    def averager(new_value):
        nonlocal count, total
        count += 1
        total += new_value
        return total / count
    return averager

averager = make_averager()
print(averager(10))
print(averager(11))

### 輸出結果:
10.0
10.5
           

這裡出現了嵌套函數,即函數内還包含其它函數。外部--内部函數的關系,就類似于子產品--外部函數的關系,同樣地,它們的作用域關系也相似:外部函數作用域--内部函數作用域,以及子產品全局作用域--外部函數作用域。在内層作用域中,可以通路外層作用域的變量,但是不能直接修改,除非使用 nonlocal 作轉化。

Python 3 中引入了 nonlocal 關鍵字來辨別外部函數的作用域,它處于全局作用域與局部作用域之間,即 global--nonlocal--local 。也就是說,國--大家--小家。

上例中,nonlocal 關鍵字使得小家(内部函數)可以修改大家(外部函數)的變量,但是該變量并不是建立于小家,當小家函數執行完畢時,它并無權限清理這些變量。

nonlocal 隻帶來了修改權限,并不帶來回收清理的權限 ,這導緻外部函數的變量突破了原有的生命周期,成為自由變量。上例是一個求平均值的函數,由于自由變量的存在,每次調用時,新傳入的參數會跟自由變量一起計算。

在計算機科學中,引用了自由變量的函數被稱為閉包(Closure)。 在本質上,閉包就是一個突破了局部邊界,所謂“跳出三界外,不在五行中”的法外之物。每次調用閉包函數時,它可以繼續使用上次調用的成果,這不就好比是一個轉世輪回的人(按照某種宗教的說法),仍攜帶着前世的記憶與技能麼?

打破邊界,必然帶來新的身份問題,此是明證。

然而,人類并不打算 fix 它,因為他們發現了這種身份異化的特性可以在很多場合發揮作用,例如裝飾器與函數式程式設計。适應身份異化,并從中獲得好處,這可是地球人類的天賦。

講完了這個分家的話題,讓我們放開視野,看看天下事。

計算機語言中的包(package)實際是一種目錄結構,以檔案夾的形式進行封裝與組織,内容可涵括各種子產品(py 檔案)、配置檔案、靜态資源檔案等。

與包相關的話題可不少,例如内置包、第三方包、包倉庫、如何打包、如何用包、虛拟環境,等等。這是可了解的,更大的邊界,意味着更多的關系,更大的邊界,也意味着更多的知識與未知。

在這裡,我想聊聊 Python 3.3 引入的

命名空間包

,因為它是對前面談論的所有話題的延續。然而,關于它的背景、實作手段與使用細節,都不重要,我那敏感而發散的思維突然捕捉到了一種相似結構,似乎這才更值得說。

運用命名空間包的設計,不同包中的相同的命名空間可以聯合起來使用,由此,不同目錄的代碼就被歸納到了一個共同的命名空間。也就是說,多個本來是相對獨立的包,借由同名的命名空間,竟然實作了超遠距離的瞬間聯通,簡直奇妙。

我想到了空間折疊,一種無法深說,但卻實實在在地輔助了我從喵星穿越到地球的技術。兩個包,兩個天下,兩個宇宙,它們的距離與邊界被穿透的方式何其相似!

我着迷于這種相似結構。在不同的事物中,相似性的出現意味着一種更高維的法則的存在,而在不同的法則中,新的相似性就意味着更抽象的法則。

學習了 Python 之後,我想通過對它的考察,來回答關乎自身的相似問題……

啊喵,不知不覺竟然寫了這麼久,該死的皮囊又在咕咕叫了——地球上的食物可真摳門,也不知道你們人類是怎麼忍受得住這幾百萬年的馴化過程的……

就此擱筆,覓食去了。親愛的讀者們,後會有期~~~

Python貓往期作品 :

有了Python,我能叫出所有貓的名字

Python對象的身份迷思:從全體公民到萬物皆數

Python對象的空間邊界:獨善其身與開放包容

附錄:

局部變量的編譯原理:https://dwz.cn/ipj6FluJ

命名空間包:https://www.tuicool.com/articles/FJFbuqM

公衆号【Python貓】, 專注Python技術、資料科學和深度學習,力圖創造一個有趣又有用的學習分享平台。本号連載優質的系列文章,有喵星哲學貓系列、Python進階系列、好書推薦系列、優質英文推薦與翻譯等等,歡迎關注哦。PS:背景回複“愛學習”,免費獲得一份學習大禮包。