18.异步编程 asyncio

一. 概念识别

阻塞: A 调用 B, A 会被挂起, 一直等待 B 的结果, 什么都不干.

非阻塞: A 调用 B, A 自己不用被挂起来等待 B 的结果, A 可以去干其他事情.

同步: A 调用 B, 此时只有等 B 有了结果才返回. 同步意味着有序

异步: A 调用 B, B 立即返回, 无需等待, 等 B 处理完之后再告诉 A 结果. 异步意味着无序

并发: 为了让独立的子任务能够尽快完成.

并行: 为了利用多核加速多任务的完成.

事件循环: 并非真正的循环, 而是线程不断从事件列表中取事件的动作.

回调:

  • 同步回调: 一种 阻塞式调用, 需要等待调用事件返回.
  • 回调: 一种 双向调用模式, 被调用方调用时也会调用对方.
  • 异步回调: 一种类似消息或事件的机制, 即收到某种信息时, 会主动通知调用方.

二. 协程

2.1 协程

协程(coroutine): 又称微线程, 一种用户态的轻量级线程.

协程(coroutine): 又称微线程, 一种用户态的轻量级线程.

async: 用来定义协程的关键字.

await: 等待到对象的返回结果,才会继续执行后续代码.

1
2
3
4
5
6
7
8
9
10
11
import asyncio


# 打印 hello 等待 1s 后打印 python
async def demo1():
print("hello")
await asyncio.sleep(1)
print("python")


asyncio.run(demo1())

2.2 asyncio 库

asyncio 三种主要机制:

  • asyncio.run(): 函数用来运行最高层级的入口点 “main()” 函数.
  • 等待一个协程.
  • asyncio.create_task(): 函数用来并发运行作为 asyncio 任务 的多个协程。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
# 等待 1 秒后打印 "hello",然后 再次 等待 2 秒后打印 "world"
import asyncio
import time

async def say_after(delay, what):
await asyncio.sleep(delay)
print(what)

async def main():
start_time = time.time()

await say_after(1, 'hello')
await say_after(2, 'world')

end_time = time.time()
print(f"耗时: {end_time - start_time}")

asyncio.run(main())

"""
运行结果:
hello
world
耗时: 3.003185987472534
"""
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
import asyncio
import time

async def say_after(delay, what):
await asyncio.sleep(delay)
print(what)

async def main():
task1 = asyncio.create_task(say_after(1, "hello"))
task2 = asyncio.create_task(say_after(2, "Python"))
start_time = time.time()
await task1
await task2
end_time = time.time()
print(f"耗时: {end_time - start_time}")

asyncio.run(main())

"""
运行结果:
hello
Python
耗时: 2.001649856567383
"""

2.2.1 运行 asyncio 程序: run()

  • asyncio.run(coro, *, debug=False)
    • 运行传入的协程,负责管理 asyncio 事件循环,终结异步生成器,并关闭线程池。
    • 用作 asyncio 程序的主入口点,理想情况下应当只被调用一次。
1
2
3
4
5
async def main():
await asyncio.sleep(1)
print('hello')

asyncio.run(main())

2.2.2 创建任务: create_task()

  • asyncio.create_task(coro, *, name=None)
    • 将协程添加到asyncio.create_task()中,则该协程将很快的自动计划运行。
    • 将 coro 协程 封装为一个 Task 并调度其执行。返回 Task 对象。

2.2.3 休眠: sleep()

  • asyncio.sleep(delay, result=None, *, loop=None)
    • 阻塞 delay 指定的秒数。
    • 如果指定了 result,则当协程完成时将其返回给调用者。
    • sleep() 总是会挂起当前任务,以允许其他任务运行。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 运行 5 秒,每秒显示一次当前日期:
import asyncio
import datetime

async def display_date():
loop = asyncio.get_running_loop()
end_time = loop.time() + 5.0
while True:
print(datetime.datetime.now())
if (loop.time() + 1.0) >= end_time:
break
await asyncio.sleep(1)

asyncio.run(display_date())

2.2.4 并发运行任务: wait()、gather()

相同:asyncio.wait 和 asyncio.gather 实现的效果是相同的,都是把所有 Task 任务结果收集起来。

不同

  • asyncio.wait 会返回两个值:done 和 pending,
    • done 为已完成的协程 Task,
    • pending 为超时未完成的协程 Task,需通过 future.result 调用 Task 的 result;
  • asyncio.gather 返回的是所有已完成 Task 的 result,不需要再进行调用或其他操作,就可以得到全部结果。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
import asyncio
import arrow

def current_time():
# 获取当前时间
cur_time = arrow.now().to('Asia/Shanghai').format('YYYY-MM-DD HH:mm:ss')
return cur_time

async def func(sleep_time):
func_name_suffix = sleep_time # 使用 sleep_time(函数 I/O 等待时长)作为函数名后缀,以区分任务对象
print(f"[{current_time()}] 执行异步函数 {func.__name__}-{func_name_suffix}")
await asyncio.sleep(sleep_time)
print(f"[{current_time()}] 函数 {func.__name__}-{func_name_suffix} 执行完毕")
return f"【[{current_time()}] 得到函数 {func.__name__}-{func_name_suffix} 执行结果】"

async def run():
task_list = []
for i in range(5):
task = asyncio.create_task(func(i))
task_list.append(task)

# asyncio.gather 返回的是所有已完成 Task 的 result
# results = await asyncio.gather(*task_list)
# for result in results:
# print(f"[{current_time()}] 得到执行结果 {result}")

# asyncio.wait 会返回两个值:done 和 pending
done, pending = await asyncio.wait(task_list)
for result in done:
print(f"[{current_time()}] 得到执行结果 {result.result()}")

asyncio.run(run())

"""
运行结果:
[2023-04-27 14:29:00] 执行异步函数 func-0
[2023-04-27 14:29:00] 执行异步函数 func-1
[2023-04-27 14:29:00] 执行异步函数 func-2
[2023-04-27 14:29:00] 执行异步函数 func-3
[2023-04-27 14:29:00] 执行异步函数 func-4
[2023-04-27 14:29:00] 函数 func-0 执行完毕
[2023-04-27 14:29:01] 函数 func-1 执行完毕
[2023-04-27 14:29:02] 函数 func-2 执行完毕
[2023-04-27 14:29:03] 函数 func-3 执行完毕
[2023-04-27 14:29:04] 函数 func-4 执行完毕
[2023-04-27 14:29:04] 得到执行结果 【[2023-04-27 14:29:04] 得到函数 func-4 执行结果】
[2023-04-27 14:29:04] 得到执行结果 【[2023-04-27 14:29:02] 得到函数 func-2 执行结果】
[2023-04-27 14:29:04] 得到执行结果 【[2023-04-27 14:29:03] 得到函数 func-3 执行结果】
[2023-04-27 14:29:04] 得到执行结果 【[2023-04-27 14:29:01] 得到函数 func-1 执行结果】
[2023-04-27 14:29:04] 得到执行结果 【[2023-04-27 14:29:00] 得到函数 func-0 执行结果】
"""

2.2.5 防止取消操作: shield()

  • asyncio.shield(aw, *, loop=None)
    • 保护一个 可等待对象 防止其被 取消
1
res = await shield(something())

2.2.6 超时: wait_for()

  • asyncio.wait_for(aw, timeout, *, loop=None)
    • 等待 aw 可等待对象 完成,指定 timeout 秒数后超时
    • timeout 可以为 None,也可以为 float 或 int 型数值表示的等待秒数
    • 任务取消引发 asyncio.TimeoutError, 要避免任务取消,可以加上 shield()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
import asyncio

async def eternity():
# Sleep for one hour
await asyncio.sleep(3600)
print('yay!')

async def main():
# 最多等待1秒
try:
await asyncio.wait_for(eternity(), timeout=1.0)
except asyncio.TimeoutError:
print('timeout!')

asyncio.run(main())

"""
timeout!
"""

2.2.7 Task

task对象作用: 可以将多个任务添加到事件循环当中,达到多任务并发的效果

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
import asyncio

async def func2():
print(1111)
await asyncio.sleep(2)
print(2222)
return "test"
tasks = [func2(), func2()]

x, y = asyncio.run(asyncio.wait(tasks))
print(x)
print(y)

'''
运行结果:
1111
1111
2222
2222
{<Task finished name='Task-3' coro=<func2() done, defined at /Users/chengqiande/Documents/PythonObject/Demo/进程、线程、协程/多线程/Demo2/demo6.py:7> result='test'>, <Task finished name='Task-2' coro=<func2() done, defined at /Users/chengqiande/Documents/PythonObject/Demo/进程、线程、协程/多线程/Demo2/demo6.py:7> result='test'>}
set()
'''

2.2.8 多线程异步执行: to_thread()

asyncio.to_thread(): 将同步阻塞放入多线程异步执行

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
import asyncio
import threading
import time
import atexit

start = time.time()
atexit.register(lambda: print('用时(秒):', time.time()-start))

def hard_work():
print('thread id:', threading.get_ident())
time.sleep(5)

async def do_async_job():
await asyncio.to_thread(hard_work)
await asyncio.sleep(1)
print('job done!')

async def main():
tasks = []
for i in range(3):
tasks.append(asyncio.create_task(do_async_job()))

await asyncio.wait(tasks)

asyncio.run(main())

'''
运行结果:
thread id: 12936740864
thread id: 12953530368
thread id: 12970319872
job done!
job done!
job done!
用时(秒): 6.017727851867676
'''