python教程—是否将共享只读数据复制到不同进程进行多处理?-Python实用宝典

python教程—是否将共享只读数据复制到不同进程进行多处理?

我拥有的这段代码看起来是这样的:是否有一种方法可以确保(或鼓励)不同的进程不会获得glbl_array的副本,而是共享它。如果无法停止复制,我将使用memmapping数组,但是我的访问模式不是很规则,所以我希望memmapping数组会慢一些。以上似乎是第一个尝试。这是在Linux上。我只是想从Stackoverflow得到一些建议,不想惹恼系统管理员。如果第二个参数是一个真正的不可变对象,比如glbl_array.tostring(),您认为这会有帮助吗?

这段代码是这样的:

    glbl_array = # a 3 Gb array def my_func( args, def_param = glbl_array): #do stuff on args and def_param if __name__ == '__main__': pool = Pool(processes=4) pool.map(my_func, range(1000))

是否有一种方法可以确保(或鼓励)不同的进程不会获得glbl_array的副本,而是共享它。如果无法停止复制,我将使用memmapping数组,但是我的访问模式不是很规则,所以我希望memmapping数组会慢一些。以上似乎是第一个尝试。这是在Linux上。我只是想从Stackoverflow得到一些建议,不想惹恼系统管理员。如果第二个参数是一个真正的不可变对象,比如glbl_array.tostring(),您认为这会有帮助吗?

回答

你可以使用共享内存的东西从多处理与Numpy相当容易:

    import multiprocessing import ctypes import numpy as np shared_array_base = multiprocessing.Array(ctypes.c_double, 10*10) shared_array = np.ctypeslib.as_array(shared_array_base.get_obj()) shared_array = shared_array.reshape(10, 10) #-- edited 2015-05-01: the assert check below checks the wrong thing # with recent versions of Numpy/multiprocessing. That no copy is made # is indicated by the fact that the program prints the output shown below. ## No copy was made ##assert shared_array.base.base is shared_array_base.get_obj() # Parallel processing def my_func(i, def_param=shared_array): shared_array[i,:] = i if __name__ == '__main__': pool = multiprocessing.Pool(processes=4) pool.map(my_func, range(10)) print shared_array

的打印
< pre > [[0。0. 0. 0. 0. 0. 0. 0. 0. 0。)
(1。1. 1. 1. 1. 1. 1. 1. 1. 1。)
(2。2. 2. 2. 2. 2. 2. 2. 2. 2。)
(3。3.3.3.3.3.3.3.3.3。)
(4。4. 4. 4. 4. 4. 4. 4. 4. 4。)
(5。5. 5. 5. 5. 5. 5. 5. 5. 5。)
(6。6. 6. 6. 6. 6. 6. 6. 6. 6。)
(7。7. 7. 7. 7. 7. 7. 7. 7. 7。)
(8。8. 8. 8. 8. 8. 8. 8. 8. 8。)
(9。9. 9. 9. 9. 9. 9. 9. 9. 9。]]< / pre >

但是,Linux在fork()上具有复制即写的语义,所以即使不使用多处理也一样。数组,数据将不会被复制,除非它被写入。

​Python实用宝典 (pythondict.com)
不只是一个宝典
欢迎关注公众号:Python实用宝典

本文由 Python实用宝典 作者:Python实用宝典 发表,其版权均为 Python实用宝典 所有,文章内容系作者个人观点,不代表 Python实用宝典 对观点赞同或支持。如需转载,请注明文章来源。
1

发表评论