摘要：很簡(jiǎn)單，這個(gè)模塊實(shí)現(xiàn)了開(kāi)辟一塊共享內(nèi)存空間，就好比中的方法一樣，有興趣的同學(xué)可以去查閱。查了下資料，返回的對(duì)象控制了一個(gè)進(jìn)程，可用于多進(jìn)程之間的安全通信，其支持的類型有和等。

現(xiàn)在的cpu都很強(qiáng)大，比方我用的至強(qiáng)2620有24核可以同時(shí)工作，并行執(zhí)行進(jìn)程程序。這在計(jì)算密集型的程序是很需要的，如沙漠中的綠洲，令人重獲新生。那么，問(wèn)題接踵而來(lái)，python中多進(jìn)程能否共享一個(gè)變量，因?yàn)槲倚枰戮仃嚒?/p>

我的辦法是用list存儲(chǔ)三元組信息，信息包括矩陣位置以及value。那么首先我們?cè)O(shè)定一個(gè)全局變量叫result_list就可以了？

答案是NO.

進(jìn)程間共享變量就需要獨(dú)立開(kāi)辟一塊內(nèi)存空間或是文件共享，在python里很方面，直接用一個(gè)模塊可以解決這個(gè)問(wèn)題，那就是 multiprocessing 里的 Manager。當(dāng)然，這是針對(duì)我們需要的是list而言，如果我們只是共享一個(gè)簡(jiǎn)單的變量如一個(gè)整數(shù)，可以直接用 multiprocessing 里的 value。

下面的實(shí)例是怎么去共享變量。

from multiprocessing import Process, Manager, Lock
import os

lock = Lock()
manager = Manager()
sum = manager.list()


def testFunc(cc, lock):
    with lock:
        sum.append(1)


if __name__ == "__main__":
    threads = []

    for ll in range(1000):
        t = Process(target=testFunc, args=(1, lock))
        t.daemon = True
        threads.append(t)

    sum = manager.list()
    for i in range(len(threads)):
        threads[i].start()

    for j in range(len(threads)):
        threads[j].join()

    print "------------------------"
    print "process id:", os.getpid()
    print sum

很簡(jiǎn)單，manager這個(gè)模塊實(shí)現(xiàn)了開(kāi)辟一塊共享內(nèi)存空間，就好比c中的 shmget 方法一樣，有興趣的同學(xué)可以去查閱。 傳送門

這樣簡(jiǎn)單的處理并不能滿足我。
首先，我需要一個(gè)線程池，當(dāng)然，實(shí)現(xiàn)線程池也是非常簡(jiǎn)單的。但是就會(huì)遇到一個(gè)問(wèn)題。

lock = multiprocessing.Lock()  
pool = multiprocessing.Pool(processes=3)  
for i in range(0,3):  
    pool.apply_async(child_worker, ((my_parameter, lock),))  
pool.close()  
pool.join()  

以上代碼執(zhí)行時(shí)會(huì)出錯(cuò)。

RuntimeError: Lock objects should only be shared between processes through inheritance

查了下資料，multiprocessing.Manager()返回的manager對(duì)象控制了一個(gè)server進(jìn)程，可用于多進(jìn)程之間的安全通信，其支持的類型有l(wèi)ist,dict,Namespace,Lock,RLock,Semaphore,BoundedSemaphore,Condition,Event,Queue,Value和Array等。

所以代碼修改成這樣后就可以正常運(yùn)行了：

lock = multiprocessing.Manager().Lock()  
pool = multiprocessing.Pool(processes=3)  
for i in range(0,3):  
    pool.apply_async(child_worker, ((my_parameter, lock),))  
pool.close()  
pool.join()  

所以,lock的問(wèn)題解決了，真是厲害我們現(xiàn)在可以充分地（往死里）用我們的電腦了。

But,還不夠，我想要多次執(zhí)行這個(gè)并行化計(jì)算sum的函數(shù)。也就是說(shuō)我需要每次去清空result_list的內(nèi)容，這個(gè)可是一個(gè)很關(guān)鍵的細(xì)節(jié)，因?yàn)檫@個(gè)需要明白一個(gè)細(xì)節(jié)，你不能用sum = [] 這樣的方式去重置，我個(gè)人認(rèn)為是局部變量的原因，我后來(lái)找到了del sum[:]的方法，解決了我的大問(wèn)題，so,final version 如下。

from multiprocessing import Process, Manager,Pool
import os

lock = Manager().Lock()
manager = Manager()
sum = manager.list()


def testFunc(cc, lock):
    with lock:
        sum.append(1)

# 配合 multiprocessing pool 對(duì)多參數(shù)的要求添加的函數(shù)
def multi_test(args):
    testFunc(*args)

def testing():
    threads = []
    _pool = Pool(24)

    del sum[:]
    lst_vars = []
    for shot in range(1000):
        lst_vars.append((1,lock))
    _pool.map(multi_test, lst_vars)
    _pool.close()
    _pool.join()
    
    print "------------------------"
    print "process id:", os.getpid()
    print sum
    
if __name__ == "__main__":
    testing()
    testing()

這些實(shí)例是我方便寫博客想的，其實(shí)我是在寫一個(gè)大工程遇到了這些個(gè)問(wèn)題，忙的我焦頭爛額，但是總結(jié)出了人生經(jīng)驗(yàn)，希望幫到你，讓你多活幾年～～