亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

python學(xué)習(xí)筆記 - fork, multiprocessing

littleGrow / 1927人閱讀

摘要：近年來，人工智能的興起使得更加火爆了。獲取當(dāng)前進程父進程的。但是唯一遺憾的是，函數(shù)只能在系統(tǒng)中使用，不能在系統(tǒng)中使用。因此在下，需要將其包含在中。則是立即返回一個可迭代對象。則是返回可迭代函數(shù)。

Python一直是一門對初學(xué)者非常友好的語言，在數(shù)據(jù)分析、Web 開發(fā)、網(wǎng)絡(luò)安全、網(wǎng)絡(luò)爬蟲等方面應(yīng)用廣泛。近年來，人工智能的興起使得 Python 更加火爆了。

我們在處理大量數(shù)據(jù)或者需要快速爬取多種網(wǎng)絡(luò)資源的時候，我們無法避免使用到進程。Cpython 解釋器中多線程涉及到 GIL 問題，我們這里暫不做考慮。

Python 實現(xiàn)多進程的方式有多種，我們下面一一來學(xué)習(xí)一下吧。

fork

Linux/Unix系統(tǒng)提供了一個非常特殊的函數(shù)fork().該函數(shù)在調(diào)用之后，調(diào)用它的進程會被復(fù)制一份，包括當(dāng)前的RAM和接下來要執(zhí)行的代碼。
關(guān)于fork的具體內(nèi)容可以閱讀更多的文章：
http://blog.csdn.net/jason314...
http://blog.csdn.net/cywosp/a...

調(diào)用的fork()函數(shù)，它在主進程中返回的是子進程的pid；它在子進程中反饋的是0.
那么，我們就可以根據(jù)fork()函數(shù)返回的值來判斷是在主進程中還是在子進程中了。
在Python中，為我們提供了os.fork()。

import os

print "Process (%s) is running" % os.getpid()
i = 100
pid = os.fork()
if pid == 0:
    print "Son process (%s) is running" % os.getpid()
else:
    print "Main process (%s) is running" % os.getpid()

上面的代碼用到了幾個函數(shù)，羅列如下：

os.fork(),創(chuàng)建進程，在主進程中返回子進程的id，在子進程中返回0.

os.getpid() 獲取到當(dāng)前進程的id。

os.getppid() 獲取當(dāng)前進程父進程的id。

但是唯一遺憾的是，fork()函數(shù)只能在linuxunix系統(tǒng)中使用，不能在windows系統(tǒng)中使用。

multiprocessing

Python提供了跨平臺的多進程支持，multiprocessing. multiprocessing模塊提供了一個Process類代表一個進程。我們可以用Process創(chuàng)建一個進程。

from multiprocessing import Process
import time


def son_process(name):
    time.sleep(2)
    print "Process %s is running" % name


if __name__ == "__main__":
    son_process = Process(target=son_process, args=("Son",))
    print "Son process is started"
    son_process.start()
    son_process.join()
    print "Son process is ended - Printed by Main Process"

上面主要用到了

Process(target, attrs) 構(gòu)造一個進程

process.start() 進程開始

process.join() 進程同步，Main進程序等待子程序完成后在執(zhí)行后代碼。

需要注意的是，在windows下，如果子進程序不是在__main__中創(chuàng)建的，那么就會出錯。因為windows在創(chuàng)建子進程的時候，會將創(chuàng)建它的py文件import進去。import進去機會執(zhí)行，那么就會不斷地創(chuàng)建子進程，所以會出錯。
因此在windows下，需要將其包含在__main__中。

Pool

上面的提到的Process主要用于創(chuàng)建一個進程，如何創(chuàng)建多個呢？Python在multiprocessing包里為我們提供了Pool類。
我們可以使用Pool.apply_async(func, args)函數(shù)來創(chuàng)建子進程。
代碼：

from multiprocessing import Pool
import time


def son_process(name):
    time.sleep(5)
    print "Process %s is running
" % name


pool = Pool(4)
print "Son process is started"
for x in range(0, 10):
    pool.apply_async(son_process, args=("son_%d"%x,))
pool.close()
print "Mark"
pool.join()

print "Son process is ended - Printed by Main Process"

Pool(4)

join()

Wait for the worker processes to exit. One must call close() or terminate() before using join().即主進程會在.join()處等待worker進程們結(jié)束后再執(zhí)行。

apply() 和 apply_async()

apply()和apply_async()的區(qū)別就是前者是阻塞式的，后者是非阻塞式的。
阻塞式意思就是需要等待子進程完成后才能執(zhí)行主線程后續(xù)的內(nèi)容。
非阻塞意思就是無需等待子進程，兩者是同步進行的。

map() 和 map_async()

跟高階函數(shù)map()一致，Pool的map()函數(shù)是將一個可迭代對象的每一個元素作用域func。
map也分阻塞和非阻塞。

imap() 和 imap_unordered()

imap 與 map的區(qū)別是，map是當(dāng)所有的進程都已經(jīng)執(zhí)行完了，并將結(jié)果返回了，那么才返回map()函數(shù)的一個list結(jié)果。
imap()則是立即返回一個iterable可迭代對象。其迭代隨著進行返回的結(jié)果而逐步迭代。

imap()和 imap_unordered()的區(qū)別

imap_unordered()不保證返回的結(jié)果順序與進程添加的順序一致。

怎么取得進程的結(jié)果？

阻塞式函數(shù)：
Pool.apply()直接返回結(jié)果
Pool.map() 直接返回一個list
非阻塞式函數(shù)
Pool.apply_async()和Pool.map_async() 返回一個AsyncResult對象。
AsyncResult對象具有:get()函數(shù)可以獲取結(jié)果。
imap() imap_unordered()則是返回可迭代函數(shù)。

一個有用的函數(shù) multiprocessing.cpu_count()

multiprocess.cpu_count()可以返回本計算機cpu的數(shù)量。
我們在新建一個進程池的時候，如果不填寫任何參數(shù)，那么進程池的容量默認就是cpu的數(shù)量。

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/38360.html

相關(guān)文章

  • python 學(xué)習(xí)筆記 - Queue & Pipes，進程間通訊

    摘要：的讀寫效率要高于。進程間的基于機制建立。當(dāng)主進程創(chuàng)建子進程后，也被拷貝了一份。此后，關(guān)閉主進程的一個，關(guān)閉一個子進程的一個。據(jù)官方文檔也是基于的實現(xiàn)。 上面寫了Python如何創(chuàng)建多個進程，但是前面文章中創(chuàng)建的進程都是啞巴和聾子，自己顧自己執(zhí)行，不會相互交流。那么如何讓進程間相互說說話呢？Python為我們提供了一個函數(shù)multiprocessing.Pipe和一個類：multipro...

    xiaodao 評論0 收藏0

  • Python 多進程實踐

    摘要：多進程的方式可以增加腳本的并發(fā)處理能力，支持這種多進程的編程方式在類系統(tǒng)中，的模塊內(nèi)置了函數(shù)用以創(chuàng)建子進程方式創(chuàng)建子進程執(zhí)行結(jié)果從結(jié)果可以看到，從開始，下面的部分代碼運行了兩次，第一次是父進程運行，第二次是子進程運行，且子進程的的結(jié)果總是， 多進程的方式可以增加腳本的并發(fā)處理能力， python 支持這種多進程的編程方式 在類unix系統(tǒng)中， python的os 模塊內(nèi)置了fork 函...

    makeFoxPlay 評論0 收藏0

  • 【Python學(xué)習(xí)】windows環(huán)境不能用的函數(shù)

    摘要：普通的函數(shù)調(diào)用，調(diào)用一次，返回一次，但是調(diào)用一次，返回兩次，因為操作系統(tǒng)自動把當(dāng)前進程稱為父進程復(fù)制了一份稱為子進程，然后，分別在父進程和子進程內(nèi)返回。子進程永遠返回，而父進程返回子進程的。 一、Before Python學(xué)習(xí)過程中，經(jīng)常發(fā)現(xiàn)教程上講的函數(shù)在本機上會報錯： AttributeError: module object has no attribute *** 作為一個初學(xué)...

    googollee 評論0 收藏0

  • threading + multiprocessing + logging = 死鎖 ?

    摘要：后來通過調(diào)查發(fā)現(xiàn)是因為程序中同時使用了多線程，多進程以及模塊，導(dǎo)致子進程中出現(xiàn)了死鎖的情況。當(dāng)創(chuàng)建子進程的時候，后臺線程中的模塊正好獲取了一個鎖在記錄日志信息。 前段時間有個程序突然出現(xiàn)了子進程不工作的情況。 后來通過調(diào)查發(fā)現(xiàn)是因為程序中同時使用了多線程，多進程以及 logging 模塊，導(dǎo)致子進程中出現(xiàn)了死鎖的情況。 當(dāng)創(chuàng)建子進程的時候，后臺線程中的 logging 模塊正好獲取了一...

    netmou 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<