python异步非阻塞式多进程apply_async

原创于 2023-09-05 16:55:44 发布 · 2.3k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#python #开发语言

Python 专栏收录该内容

25 篇文章

订阅专栏

文章介绍了Python的apply_async函数的基础用法，包括异步执行函数、参数传递和AsyncResult对象，以及进阶使用中的进程池控制和回调函数应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一. `apply_async基础`

在Python中，apply_async()函数是multiprocessing模块的一部分，它用于异步执行函数。这个函数允许你在一个进程池中的多个进程上异步地运行函数，而不需要等待前面的函数完成。

下面是apply_async()函数的基本语法：

apply_async(func, args=(), kwds={}, callback=None)

参数说明：

func：要执行的函数。
args：传递给函数的参数。
kwds：传递给函数的键值对参数。
callback：当函数执行完成后调用的回调函数。

下面是一个简单的示例，展示如何使用apply_async()函数：

from multiprocessing import Pool  
  
def square(n):  
    return n ** 2  
  
if __name__ == '__main__':  
    with Pool() as pool:  
        result = pool.apply_async(square, args=(10,))  
        print(result.get())  # 输出：100,注意, 这里可以用get来获取执行后的输出


在上面的示例中，我们定义了一个简单的函数square()，它接受一个整数作为参数并返回该整数的平方。然后，我们使用multiprocessing.Pool()创建一个进程池，并使用apply_async()函数异步执行square()函数。我们将参数(10,)传递给square()函数。最后，我们使用get()方法获取结果并打印出来。

请注意，apply_async()函数返回一个AsyncResult对象，可以使用该对象来获取函数的执行结果或等待函数的完成。

二.进阶使用

主进程开始运行，碰到子进程后，主进程说：让我先运行个够，等到操作系统进行进程切换的时候，再交给子进程运行。因为我们的程序太短，还没等到操作系统进行进程切换，主进程就运行完毕了。

python官方建议：废弃apply，使用apply_async

下面是进阶用法,该实例中增加了对cpu核心占用数的控制和结果的回调

import multiprocessing
import time
import random
import sys

#测试回调
def mul(a, b):
    time.sleep(0.5*random.random())
    return a * b

def pow3(x):
    return x ** 3

if __name__ == '__main__':
    multiprocessing.freeze_support() # 在Windows下编译需要加这行

    PROCESSES = 4  #设置多进程的占用核心数量
    print('Creating pool with %d processes\n' % PROCESSES)
    pool = multiprocessing.Pool(PROCESSES)

    A = []
    B = [56, 0, 1, 8, 27, 64, 125, 216, 343, 512, 729]

    r = pool.apply_async(mul, (7, 8), callback=A.append)
    r.wait()
    
    print(A)
    print(B)


    r = pool.map_async(pow3, range(10), callback=A.extend)
    r.wait()
    
    print(A)
    print(B)

    if A == B:
        print('\tcallbacks succeeded\n')
    else:
        print('\t*** callbacks failed\n\t\t%s != %s\n' % (A, B))

运行结果:

Creating pool with 4 processes

[56]
[56, 0, 1, 8, 27, 64, 125, 216, 343, 512, 729]
[56, 0, 1, 8, 27, 64, 125, 216, 343, 512, 729]
[56, 0, 1, 8, 27, 64, 125, 216, 343, 512, 729]
	callbacks succeeded