監控Python 記憶體使用情況和代碼執行時間

我的代碼的哪些部分運作時間最長、記憶體最多？ 我怎樣才能找到需要改進的地方？”

在開發過程中，我很确定我們大多數人都會想知道這一點，而且通常情況下存在開發空間。 在本文中總結了一些方法來監控 Python 代碼的時間和記憶體使用情況。

本文将介紹4種方法，前3種方法提供時間資訊，第4個方法可以獲得記憶體使用情況。

• time 子產品
• %%time 魔法指令
• line_profiler
• memory_profiler

time 子產品

這是計算代碼運作所需時間的最簡單、最直接(但需要手動開發)的方法。他的邏輯也很簡單:記錄代碼運作之前和之後的時間，計算時間之間的差異。這可以實作如下:

import time

start_time = time.time()

result = 5+2

end_time = time.time()

print('Time taken = {} sec'.format(end_time - start_time))

下面的例子顯示了for循環和清單推導式在時間上的差異:

import time
# for loop vs. list comp
list_comp_start_time = time.time()
result = [i for i in range(0,1000000)]
list_comp_end_time = time.time()
print('Time taken for list comp = {} sec'.format(list_comp_end_time - list_comp_start_time))
result=[]
for_loop_start_time = time.time()
for i in range(0,1000000):
result.append(i)
for_loop_end_time = time.time()
print('Time taken for for-loop = {} sec'.format(for_loop_end_time - for_loop_start_time))
list_comp_time = list_comp_end_time - list_comp_start_time
for_loop_time = for_loop_end_time - for_loop_start_time
print('Difference = {} %'.format((for_loop_time - list_comp_time)/list_comp_time * 100))           

我們都知道for會慢一些

Time taken for list comp = 0.05843973159790039 sec
Time taken for for-loop = 0.06774497032165527 sec
Difference = 15.922795107582594 %           

%%time 魔法指令

魔法指令是IPython核心中内置的友善指令，可以友善地執行特定的任務。一般情況下都實在jupyter notebook種使用。

在單元格的開頭添加%%time ，單元格執行完成後，會輸出單元格執行所花費的時間。

%%time
def convert_cms(cm, unit='m'):
'''
Function to convert cm to m or feet
'''
if unit == 'm':
return cm/100
return cm/30.48
convert_cms(1000)           

結果如下：

CPU times: user 24 µs, sys: 1 µs, total: 25 µs
Wall time: 28.1 µs
Out[8]: 10.0           

這裡的CPU times是CPU處理代碼所花費的實際時間，Wall time是事件經過的真實時間，在方法入口和方法出口之間的時間。

line_profiler

前兩個方法隻提供執行該方法所需的總時間。通過時間分析器我們可以獲得函數中每一個代碼的運作時間。

這裡我們需要使用line_profiler包。使用pip install line_profiler。

import line_profiler
def convert_cms(cm, unit='m'):
'''
Function to convert cm to m or feet
'''
if unit == 'm':
return cm/100
return cm/30.48
# Load the profiler
%load_ext line_profiler
# Use the profiler's magic to call the method
%lprun -f convert_cms convert_cms(1000, 'f')           

輸出結果如下：

Timer unit: 1e-06 s
Total time: 4e-06 s
File: /var/folders/y_/ff7_m0c146ddrr_mctd4vpkh0000gn/T/ipykernel_22452/382784489.py
Function: convert_cms at line 1
Line # Hits Time Per Hit % Time Line Contents
==============================================================
1 def convert_cms(cm, unit='m'):
2 '''
3 Function to convert cm to m or feet
4 '''
5 1 2.0 2.0 50.0 if unit == 'm':
6 return cm/100
7 1 2.0 2.0 50.0 return cm/30.48           

可以看到line_profiler提供了每行代碼所花費時間的詳細資訊。

• Line Contents :運作的代碼
• Hits:行被執行的次數
• Time:所花費的總時間(即命中次數x每次命中次數)
• Per Hit:一次執行花費的時間，也就是說 Time = Hits X Per Hit
• % Time:占總時間的比例

可以看到，每一行代碼都詳細的分析了時間，這對于我們分析時間相當的有幫助。

memory_profiler

與line_profiler類似，memory_profiler提供代碼的逐行記憶體使用情況。

要安裝它需要使用pip install memory_profiler。我們這裡監視convert_cms_f函數的記憶體使用情況

from conversions import convert_cms_f
import memory_profiler
%load_ext memory_profiler
%mprun -f convert_cms_f convert_cms_f(1000, 'f')           

convert_cms_f函數在單獨的檔案中定義，然後導入。結果如下:

Line # Mem usage Increment Occurrences Line Contents
=============================================================
1 63.7 MiB 63.7 MiB 1 def convert_cms_f(cm, unit='m'):
2 '''
3 Function to convert cm to m or feet
4 '''
5 63.7 MiB 0.0 MiB 1 if unit == 'm':
6 return cm/100
7 63.7 MiB 0.0 MiB 1 return cm/30.48           

memory_profiler 提供對每行代碼記憶體使用情況的詳細了解。

這裡的1 MiB (MebiByte) 幾乎等于 1MB。 1 MiB = 1.048576 1MB

但是memory_profiler 也有一些缺點：它通過查詢作業系統記憶體，是以結果可能與 python 解釋器略有不同，如果在會話中多次運作 %mprun，可能會注意到增量列報告所有代碼行為 0.0 MiB。 這是因為魔法指令的限制導緻的。

雖然memory_profiler有一些問題，但是它就使我們能夠清楚地了解記憶體使用情況，對于開發來說是一個非常好用的工具

總結

雖然Python并不是一個以執行效率見長的語言，但是在某些特殊情況下這些指令對我們還是非常有幫助的。

作者：Rishikeshavan