天天看點

Python 多線程

多線程類似于同時執行多個不同程式,多線程運作有如下優點:

使用線程可以把占據長時間的程式中的任務放到背景去處理。

使用者界面可以更加吸引人,這樣比如使用者點選了一個按鈕去觸發某些事件的處理,可以彈出一個進度條來顯示處理的進度

程式的運作速度可能加快

在一些等待的任務實作上如使用者輸入、檔案讀寫和網絡收發資料等,線程就比較有用了。在這種情況下我們可以釋放一些珍貴的資源如記憶體占用等等。

線程在執行過程中與程序還是有差別的。每個獨立的程序有一個程式運作的入口、順序執行序列和程式的出口。但是線程不能夠獨立執行,必須依存在應用程式中,由應用程式提供多個線程執行控制。

每個線程都有他自己的一組CPU寄存器,稱為線程的上下文,該上下文反映了線程上次運作該線程的CPU寄存器的狀态。

指令指針和堆棧指針寄存器是線程上下文中兩個最重要的寄存器,線程總是在程序得到上下文中運作的,這些位址都用于标志擁有線程的程序位址空間中的記憶體。

線程可以被搶占(中斷)。

在其他線程正在運作時,線程可以暫時擱置(也稱為睡眠) -- 這就是線程的退讓。

Python中使用線程有兩種方式:函數或者用類來包裝線程對象。

函數式:調用thread子產品中的start_new_thread()函數來産生新線程。文法如下:

參數說明:

function - 線程函數。

args - 傳遞給線程函數的參數,他必須是個tuple類型。

kwargs - 可選參數。

#!/usr/bin/python

# -*- coding: UTF-8 -*-

import thread

import time

# 為線程定義一個函數

def print_time( threadName, delay):

count = 0

while count < 5:

time.sleep(delay)

count += 1

print "%s: %s" % ( threadName, time.ctime(time.time()) )

# 建立兩個線程

try:

thread.start_new_thread( print_time, ("Thread-1", 2, ) )

thread.start_new_thread( print_time, ("Thread-2", 4, ) )

except:

print "Error: unable to start thread"

while 1:

pass

執行以上程式輸出結果如下:

線程的結束一般依靠線程函數的自然結束;也可以線上程函數中調用thread.exit(),他抛出SystemExit exception,達到退出線程的目的。

Python通過兩個标準庫thread和threading提供對線程的支援。thread提供了低級别的、原始的線程以及一個簡單的鎖。

threading 子產品提供的其他方法:

threading.currentThread(): 傳回目前的線程變量。

threading.enumerate(): 傳回一個包含正在運作的線程的list。正在運作指線程啟動後、結束前,不包括啟動前和終止後的線程。

threading.activeCount(): 傳回正在運作的線程數量,與len(threading.enumerate())有相同的結果。

除了使用方法外,線程子產品同樣提供了Thread類來處理線程,Thread類提供了以下方法:

<b>run():</b> 用以表示線程活動的方法。

<b>start():</b>啟動線程活動。

<b> join([time]):</b> 等待至線程中止。這阻塞調用線程直至線程的join() 方法被調用中止-正常退出或者抛出未處理的異常-或者是可選的逾時發生。

<b> isAlive():</b> 傳回線程是否活動的。

<b> getName():</b> 傳回線程名。

<b> setName():</b> 設定線程名。

使用Threading子產品建立線程,直接從threading.Thread繼承,然後重寫__init__方法和run方法:

import threading

exitFlag = 0

class myThread (threading.Thread): #繼承父類threading.Thread

def __init__(self, threadID, name, counter):

threading.Thread.__init__(self)

self.threadID = threadID

self.name = name

self.counter = counter

def run(self): #把要執行的代碼寫到run函數裡面 線程在建立後會直接運作run函數

print "Starting " + self.name

print_time(self.name, self.counter, 5)

print "Exiting " + self.name

def print_time(threadName, delay, counter):

while counter:

if exitFlag:

(threading.Thread).exit()

print "%s: %s" % (threadName, time.ctime(time.time()))

counter -= 1

# 建立新線程

thread1 = myThread(1, "Thread-1", 1)

thread2 = myThread(2, "Thread-2", 2)

# 開啟線程

thread1.start()

thread2.start()

print "Exiting Main Thread"

以上程式執行結果如下;

如果多個線程共同對某個資料修改,則可能出現不可預料的結果,為了保證資料的正确性,需要對多個線程進行同步。

使用Thread對象的Lock和Rlock可以實作簡單的線程同步,這兩個對象都有acquire方法和release方法,對于那些需要每次隻允許一個線程操作的資料,可以将其操作放到acquire和release方法之間。如下:

多線程的優勢在于可以同時運作多個任務(至少感覺起來是這樣)。但是當線程需要共享資料時,可能存在資料不同步的問題。

考慮這樣一種情況:一個清單裡所有元素都是0,線程"set"從後向前把所有元素改成1,而線程"print"負責從前往後讀取清單并列印。

那麼,可能線程"set"開始改的時候,線程"print"便來列印清單了,輸出就成了一半0一半1,這就是資料的不同步。為了避免這種情況,引入了鎖的概念。

鎖有兩種狀态——鎖定和未鎖定。每當一個線程比如"set"要通路共享資料時,必須先獲得鎖定;如果已經有别的線程比如"print"獲得鎖定了,那麼就讓線程"set"暫停,也就是同步阻塞;等到線程"print"通路完畢,釋放鎖以後,再讓線程"set"繼續。

經過這樣的處理,列印清單時要麼全部輸出0,要麼全部輸出1,不會再出現一半0一半1的尴尬場面。

class myThread (threading.Thread):

def run(self):

# 獲得鎖,成功獲得鎖定後傳回True

# 可選的timeout參數不填時将一直阻塞直到獲得鎖定

# 否則逾時後将傳回False

threadLock.acquire()

print_time(self.name, self.counter, 3)

# 釋放鎖

threadLock.release()

threadLock = threading.Lock()

threads = []

# 開啟新線程

# 添加線程到線程清單

threads.append(thread1)

threads.append(thread2)

# 等待所有線程完成

for t in threads:

t.join()

Python的Queue子產品中提供了同步的、線程安全的隊列類,包括FIFO(先入先出)隊列Queue,LIFO(後入先出)隊列LifoQueue,和優先級隊列PriorityQueue。這些隊列都實作了鎖原語,能夠在多線程中直接使用。可以使用隊列來實作線程間的同步。

Queue子產品中的常用方法:

Queue.qsize() 傳回隊列的大小

Queue.empty() 如果隊列為空,傳回True,反之False

Queue.full() 如果隊列滿了,傳回True,反之False

Queue.full 與 maxsize 大小對應

Queue.get([block[, timeout]])擷取隊列,timeout等待時間

Queue.get_nowait() 相當Queue.get(False)

Queue.put(item) 寫入隊列,timeout等待時間

Queue.put_nowait(item) 相當Queue.put(item, False)

Queue.task_done() 在完成一項工作之後,Queue.task_done()函數向任務已經完成的隊列發送一個信号

Queue.join() 實際上意味着等到隊列為空,再執行别的操作

import Queue

def __init__(self, threadID, name, q):

self.q = q

process_data(self.name, self.q)

def process_data(threadName, q):

while not exitFlag:

queueLock.acquire()

if not workQueue.empty():

data = q.get()

queueLock.release()

print "%s processing %s" % (threadName, data)

else:

time.sleep(1)

threadList = ["Thread-1", "Thread-2", "Thread-3"]

nameList = ["One", "Two", "Three", "Four", "Five"]

queueLock = threading.Lock()

workQueue = Queue.Queue(10)

threadID = 1

for tName in threadList:

thread = myThread(threadID, tName, workQueue)

thread.start()

threads.append(thread)

threadID += 1

# 填充隊列

for word in nameList:

workQueue.put(word)

# 等待隊列清空

while not workQueue.empty():

# 通知線程是時候退出

exitFlag = 1

以上程式執行結果: