为什么说python中I/O操作时推荐使用多线程或协程_python为什么多线程适合io密集-CSDN博客

在 Python 中，虽然多线程因 GIL（全局解释器锁）在 CPU 密集型任务中效率低下，但对 I/O 密集型任务（如文件读写）非常有效。

一、GIL 是什么？

Python 的全局解释器锁（Global Interpreter Lock, GIL）是 CPython 解释器的设计特性，它确保同一时刻只有一个线程执行 Python 字节码。

二、为什么 I/O 操作不受 GIL 严重限制？

a. 当线程执行 I/O 操作（如等待网络响应、读写文件）时，线程会主动释放 GIL，让其他线程继续执行：

当程序调用 open()、read()、write() 时，需要 CPU 处理系统调用指令。
CPU 负责将数据从内核缓冲区复制到用户空间（如 Python 中的 bytes 对象）。
当磁盘或 SSD 完成数据读写时，会通过中断通知 CPU。

b. 且I/O 等待是主要瓶颈

实际读写磁盘时，物理设备的速度远慢于 CPU（例如机械硬盘的寻道时间在毫秒级）。此时 CPU 大部分时间处于等待状态（等待磁盘完成操作），此时 CPU 资源可以被其他线程或进程利用。

而对于 CPU 密集型任务（如数学计算），线程会因 GIL 频繁争抢锁，导致多线程无法充分利用多核性能。

import threading
import time

# I/O 密集型任务示例：模拟文件下载
def download_file(url):
    time.sleep(2)  # 模拟等待 I/O
    print(f"Downloaded {url}")

# 多线程加速 I/O 操作
threads = []
for i in range(5):
    t = threading.Thread(target=download_file, args=(f"file_{i}.txt",))
    threads.append(t)
    t.start()

for t in threads:
    t.join()

三、CPU 密集型任务为何不适合多线程？

对于 CPU 密集型任务（如复杂计算、加密解密、图像处理）：

多个线程会频繁抢占 GIL；

切换开销大，效率反而更低；

推荐使用多进程（如 multiprocessing 模块），每个进程有独立 GIL，能真正并行执行。

四、代码示例

1、多线程处理 I/O 密集型

以下示例演示使用多线程并发执行模拟的“下载任务”，每个任务都有 I/O 阻塞（time.sleep()）

import threading
import time

# 模拟 I/O 密集型任务：下载文件
def download_file(url):
    time.sleep(2)  # 模拟网络 I/O 延迟
    print(f"Downloaded {url}")

# 创建多个线程执行任务
threads = []
for i in range(5):
    t = threading.Thread(target=download_file, args=(f"file_{i}.txt",))
    threads.append(t)
    t.start()

# 等待所有线程完成
for t in threads:
    t.join()

2、协程处理 I/O 密集型

import asyncio

# 模拟 I/O 密集型任务：下载文件
async def download_file(url):
    await asyncio.sleep(2)  # 模拟网络 I/O 延迟
    print(f"Downloaded {url}")

# 主协程函数
async def main():
    tasks = []
    for i in range(5):
        task = asyncio.create_task(download_file(f"file_{i}.txt"))
        tasks.append(task)
    await asyncio.gather(*tasks)  # 并发执行所有任务

# 运行事件循环
asyncio.run(main())