python中的多線程其實并不是真正的多線程,如果想要充分地使用多核CPU資源,在python中大部分情況需要使用多程序。python提供了非常好用的多程序包Multiprocessing,隻需要定義一個函數,python會完成其它所有事情。借助這個包,可以輕松完成從單程序到并發執行的轉換。multiprocessing支援子程序、通信和共享資料、執行不同形式的同步,提供了Process、Queue、Pipe、LocK等元件
一、Process
文法:Process([group[,target[,name[,args[,kwargs]]]]])
參數含義:target表示調用對象;args表示調用對象的位置參數元祖;kwargs表示調用對象的字典。name為别名,groups實際上不會調用。
方法:is_alive():
join(timeout):
run():
start():
terminate():
屬性:authkey、daemon(要通過start()設定)、exitcode(程序在運作時為None、如果為-N,表示被信号N結束)、name、pid。其中daemon是父程序終止後自動終止,且自己不能産生新的程序,必須在start()之前設定。
1.建立函數,并将其作為單個程序
from multiprocessing import Process
def func(name):
print("%s曾經是好人"%name)
if __name__ == "__main__":
p = Process(target=func,args=('kebi',))
p.start() #start()通知系統開啟這個程序
2.建立函數并将其作為多個程序
from multiprocessing import Process
import random,time
def hobby_motion(name):
print('%s喜歡運動'% name)
time.sleep(random.randint(1,3))
#Python學習交流QQ群:579817333
def hobby_game(name):
print('%s喜歡遊戲'% name)
time.sleep(random.randint(1,3))
if __name__ == "__main__":
p1 = Process(target=hobby_motion,args=('付婷婷',))
p2 = Process(target=hobby_game,args=('科比',))
p1.start()
p2.start()
執行結果:
付婷婷喜歡運動
科比喜歡遊戲
3.将程序定義為類(開啟程序的另一種方法,并不是很常用)
from multiprocessing import Process
class MyProcess(Process):
def __init__(self,name):
super().__init__()
self.name = name
def run(self): #start()時,run自動調用,而且此處隻能定義為run。
print("%s曾經是好人"%self.name)
if __name__ == "__main__":
p = MyProcess('kebi')
p.start() #将Process當作父類,并且自定義一個函數。
4.daemon程式對比效果
不加daemon屬性
import time
def func(name):
print("work start:%s"% time.ctime())
time.sleep(2)
print("work end:%s"% time.ctime())
if __name__ == "__main__":
p = Process(target=func,args=('kebi',))
p.start()
print("this is over")
#Python學習交流QQ群:579817333
#執行結果
this is over
work start:Thu Nov 30 16:12:00 2017
work end:Thu Nov 30 16:12:02 2017
加上daemon屬性
from multiprocessing import Process
import time
def func(name):
print("work start:%s"% time.ctime())
time.sleep(2)
print("work end:%s"% time.ctime())
if __name__ == "__main__":
p = Process(target=func,args=('kebi',))
p.daemon = True #父程序終止後自動終止,不能産生新程序,必須在start()之前設定
p.start()
print("this is over")
#執行結果
this is over
設定了daemon屬性又想執行完的方法:
import time
def func(name):
print("work start:%s"% time.ctime())
time.sleep(2)
print("work end:%s"% time.ctime())
if __name__ == "__main__":
p = Process(target=func,args=('kebi',))
p.daemon = True
p.start()
p.join() #執行完前面的代碼再執行後面的
print("this is over")
#執行結果
work start:Thu Nov 30 16:18:39 2017
work end:Thu Nov 30 16:18:41 2017
this is over
5.join():上面的代碼執行完畢之後,才會執行後i面的代碼。
先看一個例子:
from multiprocessing import Process
import time,os,random
def func(name,hour):
print("A lifelong friend:%s,%s"% (name,os.getpid()))
time.sleep(hour)
print("Good bother:%s"%name)
if __name__ == "__main__":
p = Process(target=func,args=('kebi',2))
p1 = Process(target=func,args=('maoxian',1))
p2 = Process(target=func,args=('xiaoniao',3))
p.start()
p1.start()
p2.start()
print("this is over")
this is over #最後執行,最先列印,說明start()隻是開啟程序,并不是說一定要執行完
A lifelong friend:kebi,12048
A lifelong friend:maoxian,8252
A lifelong friend:xiaoniao,6068
Good bother:maoxian #最先列印,第二位執行
Good bother:kebi
Good bother:xiaoniao
添加join()
from multiprocessing import Process
import time,os,random
def func(name,hour):
print("A lifelong friend:%s,%s"% (name,os.getpid()))
time.sleep(hour)
print("Good bother:%s"%name)
start = time.time()
if __name__ == "__main__":
p = Process(target=func,args=('kebi',2))
p1 = Process(target=func,args=('maoxian',1))
p2 = Process(target=func,args=('xiaoniao',3))
p.start()
p.join() #上面的代碼執行完畢之後,再執行後面的
p1.start()
p1.join()
p2.start()
p2.join()
print("this is over")
print(time.time() - start)
#執行結果
A lifelong friend:kebi,14804
Good bother:kebi
A lifelong friend:maoxian,11120
Good bother:maoxian
A lifelong friend:xiaoniao,10252 #每個程序執行完了,才會執行下一個
Good bother:xiaoniao
this is over
6.497815370559692 #2+1+3+主程式執行時間
改變一下位置
from multiprocessing import Process
import time,os,random
def func(name,hour):
print("A lifelong friend:%s,%s"% (name,os.getpid()))
time.sleep(hour)
print("Good bother:%s"%name)
start = time.time()
if __name__ == "__main__":
p = Process(target=func,args=('kebi',2))
p1 = Process(target=func,args=('maoxian',1))
p2 = Process(target=func,args=('xiaoniao',3))
p.start()
p1.start()
p2.start()
p.join() #需要2秒
p1.join() #到這時已經執行完
p2.join() #已經執行了2秒,還要1秒
print("this is over")
print(time.time() - start)
#執行結果
A lifelong friend:kebi,13520
A lifelong friend:maoxian,11612
A lifelong friend:xiaoniao,17064 #幾乎是同時開啟執行
Good bother:maoxian
Good bother:kebi
Good bother:xiaoniao
this is over
3.273620367050171 #以最長時間的為主
6.其它屬性和方法
from multiprocessing import Process
import time
def func(name):
print("work start:%s"% time.ctime())
time.sleep(2)
print("work end:%s"% time.ctime())
if __name__ == "__main__":
p = Process(target=func,args=('kebi',))
p.start()
p.terminate() #将程序殺死,而且必須放在start()後面,與daemon的功能類似
#執行結果
this is over
from multiprocessing import Process
import time
def func(name):
print("work start:%s"% time.ctime())
time.sleep(2)
print("work end:%s"% time.ctime())
if __name__ == "__main__":
p = Process(target=func,args=('kebi',))
# p.daemon = True
print(p.is_alive())
p.start()
print(p.name) #擷取程序的名字
print(p.pid) #擷取程序的pid
print(p.is_alive()) #判斷程序是否存在
print("this is over")