python教程—如何组合池。在Python多处理中使用数组(共享内存)映射?-Python实用宝典

python教程—如何组合池。在Python多处理中使用数组(共享内存)映射?

我有一个非常大的(只读)数据数组,我希望由多个进程并行处理这些数据。

我有一个非常大的(只读)数据数组,我希望由多个进程并行处理这些数据。

我喜欢游泳池。map函数,并希望使用它并行计算该数据上的函数。

我看到可以使用Value或Array类在进程之间使用共享内存数据。但当我尝试使用这个时,我得到一个RuntimeError: 'SynchronizedString对象应该只在使用池时通过继承在进程之间共享。地图功能:

下面是我要做的一个简单的例子:

    from sys import stdin from multiprocessing import Pool, Array def count_it( arr, key ): count = 0 for c in arr: if c == key: count += 1 return count if __name__ == '__main__': testData = "abcabcs bsdfsdf gdfg dffdgdfg sdfsdfsd sdfdsfsdf" # want to share it using shared memory toShare = Array('c', testData) # this works print count_it( toShare, "a" ) pool = Pool() # RuntimeError here print pool.map( count_it, [(toShare,key) for key in ["a", "b", "s", "d"]] )

有人能告诉我我在这里做错了什么吗?

因此,我想做的是在进程池中创建新创建的共享内存分配数组之后,将有关该数组的信息传递给进程。

回答

我又试了一次,因为我刚刚看到了赏金;)

基本上,我认为错误消息的意思是说——多处理共享内存数组不能作为参数传递(通过pickle)。序列化数据没有意义——关键是数据是共享内存。所以必须让共享数组成为全局的。我认为把它作为模块的属性更简洁,就像我的第一个答案一样,但是在你的例子中把它作为一个全局变量也很好。考虑到您不希望在fork之前设置数据,这里有一个修改后的示例。如果希望有多个可能的共享数组(这就是为什么希望传递toShare作为参数),可以类似地创建一个共享数组的全局列表,并将索引传递给count_it(这将成为toShare[i]:中的c)。

    from sys import stdin from multiprocessing import Pool, Array, Process def count_it( key ): count = 0 for c in toShare: if c == key: count += 1 return count if __name__ == '__main__': # allocate shared array - want lock=False in this case since we # aren't writing to it and want to allow multiple processes to access # at the same time - I think with lock=True there would be little or # no speedup maxLength = 50 toShare = Array('c', maxLength, lock=False) # fork pool = Pool() # can set data after fork testData = "abcabcs bsdfsdf gdfg dffdgdfg sdfsdfsd sdfdsfsdf" if len(testData) > maxLength: raise ValueError, "Shared array too small to hold data" toShare[:len(testData)] = testData print pool.map( count_it, ["a", "b", "s", "d"] )

[编辑:由于没有使用fork,上面的方法在windows上无法工作。然而,下面的方法确实适用于Windows,仍然使用Pool,所以我认为这是最接近你想要的:

    from sys import stdin from multiprocessing import Pool, Array, Process import mymodule def count_it( key ): count = 0 for c in mymodule.toShare: if c == key: count += 1 return count def initProcess(share): mymodule.toShare = share if __name__ == '__main__': # allocate shared array - want lock=False in this case since we # aren't writing to it and want to allow multiple processes to access # at the same time - I think with lock=True there would be little or # no speedup maxLength = 50 toShare = Array('c', maxLength, lock=False) # fork pool = Pool(initializer=initProcess,initargs=(toShare,)) # can set data after fork testData = "abcabcs bsdfsdf gdfg dffdgdfg sdfsdfsd sdfdsfsdf" if len(testData) > maxLength: raise ValueError, "Shared array too small to hold data" toShare[:len(testData)] = testData print pool.map( count_it, ["a", "b", "s", "d"] )

不知道为什么map不会Pickle数组,但是进程和池会—我想可能是在windows子进程初始化时转移的。注意,数据仍然是在fork之后设置的。

​Python实用宝典 (pythondict.com)
不只是一个宝典
欢迎关注公众号:Python实用宝典

本文由 Python实用宝典 作者:Python实用宝典 发表,其版权均为 Python实用宝典 所有,文章内容系作者个人观点,不代表 Python实用宝典 对观点赞同或支持。如需转载,请注明文章来源。
1

发表评论