天天看點

python多程序程式設計中常常能用到的幾種方法

python中的多線程其實并不是真正的多線程,如果想要充分地使用多核CPU資源,在python中大部分情況需要使用多程序。python提供了非常好用的多程序包Multiprocessing,隻需要定義一個函數,python會完成其它所有事情。借助這個包,可以輕松完成從單程序到并發執行的轉換。multiprocessing支援子程序、通信和共享資料、執行不同形式的同步,提供了Process、Queue、Pipe、LocK等元件

一、Process

文法:Process([group[,target[,name[,args[,kwargs]]]]])

參數含義:target表示調用對象;args表示調用對象的位置參數元祖;kwargs表示調用對象的字典。name為别名,groups實際上不會調用。

方法:is_alive():

   join(timeout):

   run():

   start():

   terminate():

屬性:authkey、daemon(要通過start()設定)、exitcode(程序在運作時為None、如果為-N,表示被信号N結束)、name、pid。其中daemon是父程序終止後自動終止,且自己不能産生新的程序,必須在start()之前設定。

1.建立函數,并将其作為單個程序

from multiprocessing import Process
def func(name):
    print("%s曾經是好人"%name)

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.start()   #start()通知系統開啟這個程序           

2.建立函數并将其作為多個程序

from multiprocessing import Process
import random,time

def hobby_motion(name):
    print('%s喜歡運動'% name)
    time.sleep(random.randint(1,3))
#Python學習交流QQ群:579817333 
def hobby_game(name):
    print('%s喜歡遊戲'% name)
    time.sleep(random.randint(1,3))

if __name__ == "__main__":
    p1 = Process(target=hobby_motion,args=('付婷婷',))
    p2 = Process(target=hobby_game,args=('科比',))
    p1.start()
    p2.start()           

執行結果:

付婷婷喜歡運動
科比喜歡遊戲           

3.将程序定義為類(開啟程序的另一種方法,并不是很常用)

from multiprocessing import Process
class MyProcess(Process):
    def __init__(self,name):
        super().__init__()
        self.name = name

    def run(self):  #start()時,run自動調用,而且此處隻能定義為run。
        print("%s曾經是好人"%self.name)

if __name__ == "__main__":
    p = MyProcess('kebi')
    p.start()  #将Process當作父類,并且自定義一個函數。           

4.daemon程式對比效果

不加daemon屬性

import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.start()
    print("this is over")
#Python學習交流QQ群:579817333 
#執行結果
this is over
work start:Thu Nov 30 16:12:00 2017
work end:Thu Nov 30 16:12:02 2017           

加上daemon屬性

from multiprocessing import Process
import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.daemon = True   #父程序終止後自動終止,不能産生新程序,必須在start()之前設定
    p.start()
    print("this is over")

#執行結果
this is over           

設定了daemon屬性又想執行完的方法:

import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.daemon = True
    p.start()
    p.join()  #執行完前面的代碼再執行後面的
    print("this is over")

#執行結果
work start:Thu Nov 30 16:18:39 2017
work end:Thu Nov 30 16:18:41 2017
this is over           

5.join():上面的代碼執行完畢之後,才會執行後i面的代碼。

先看一個例子:

from multiprocessing import Process
import time,os,random
def func(name,hour):
    print("A lifelong friend:%s,%s"% (name,os.getpid()))
    time.sleep(hour)
    print("Good bother:%s"%name)

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',2))
    p1 = Process(target=func,args=('maoxian',1))
    p2 = Process(target=func,args=('xiaoniao',3))
    p.start()
    p1.start()
    p2.start()
    print("this is over")           
this is over   #最後執行,最先列印,說明start()隻是開啟程序,并不是說一定要執行完
A lifelong friend:kebi,12048
A lifelong friend:maoxian,8252
A lifelong friend:xiaoniao,6068
Good bother:maoxian   #最先列印,第二位執行
Good bother:kebi     
Good bother:xiaoniao           

添加join()

from multiprocessing import Process
import time,os,random
def func(name,hour):
    print("A lifelong friend:%s,%s"% (name,os.getpid()))
    time.sleep(hour)
    print("Good bother:%s"%name)
start = time.time()
if __name__ == "__main__":
    p = Process(target=func,args=('kebi',2))
    p1 = Process(target=func,args=('maoxian',1))
    p2 = Process(target=func,args=('xiaoniao',3))
    p.start()
    p.join()   #上面的代碼執行完畢之後,再執行後面的
    p1.start()
    p1.join()
    p2.start()
    p2.join()
    print("this is over")
    print(time.time() - start)

#執行結果
A lifelong friend:kebi,14804
Good bother:kebi
A lifelong friend:maoxian,11120
Good bother:maoxian
A lifelong friend:xiaoniao,10252  #每個程序執行完了,才會執行下一個
Good bother:xiaoniao
this is over
6.497815370559692   #2+1+3+主程式執行時間           

改變一下位置

from multiprocessing import Process
import time,os,random
def func(name,hour):
    print("A lifelong friend:%s,%s"% (name,os.getpid()))
    time.sleep(hour)
    print("Good bother:%s"%name)
start = time.time()
if __name__ == "__main__":
    p = Process(target=func,args=('kebi',2))
    p1 = Process(target=func,args=('maoxian',1))
    p2 = Process(target=func,args=('xiaoniao',3))
    p.start()
    p1.start()
    p2.start()
    p.join()   #需要2秒
    p1.join()  #到這時已經執行完
    p2.join()   #已經執行了2秒,還要1秒
    print("this is over")
    print(time.time() - start)

#執行結果

A lifelong friend:kebi,13520
A lifelong friend:maoxian,11612
A lifelong friend:xiaoniao,17064  #幾乎是同時開啟執行
Good bother:maoxian
Good bother:kebi
Good bother:xiaoniao
this is over
3.273620367050171  #以最長時間的為主           

6.其它屬性和方法

from multiprocessing import Process
import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.start()
    p.terminate()  #将程序殺死,而且必須放在start()後面,與daemon的功能類似

#執行結果
this is over           
from multiprocessing import Process
import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    # p.daemon = True
    print(p.is_alive())
    p.start()
    print(p.name)   #擷取程序的名字
    print(p.pid)    #擷取程序的pid
    print(p.is_alive())  #判斷程序是否存在
    print("this is over")