Skip to content

数据管道调优:DataLoader、DALI 与 WebDataset 的取舍与瓶颈定位 ​

摘要:nvidia-smi 上 GPU 利用率在 40%–60% 波动、step time 抖动,通常不是模型或通信的问题,而是数据管道供不上。数据管道调优的难点不在"参数怎么调",而在"先判断瓶颈在 CPU、存储还是 GPU 解码"——判断错了,num_workers 从 8 调到 32 只会让内存先炸。

1. 三种管道,解决的是三个不同的问题 ​

方案数据形态解决什么典型代价
DataLoader + map-style Dataset索引可取的小规模数据、标注表通用性最好,随机访问任意样本每个样本一次随机读,小文件多时 IOPS 受限
DataLoader + IterableDataset(WebDataset 是典型实现)大规模 tar 分片、对象存储顺序读、跳过启动预热、无需元数据跨节点精确等分难,需要分片重采样
DALI图像/视频解码与增广把解码和增广搬到 GPU,绕过 CPU 瓶颈占显存、流水线与训练耦合、文本类不适用

三者不是"新旧替代"关系:文本语料用 WebDataset 最省心,图像分类在 CPU 解码打满时上 DALI 收益最大,而中小规模带标注表的数据集用 map-style DataLoader 反而最省事。

2. 先定位:三类瓶颈,三种证据 ​

不要凭感觉调参。三类瓶颈各有明确证据:

瓶颈证据含义
CPU 侧(Python 解码/增广)top -H 看到 dataloader 进程打满单核、GPU 利用率与 CPU 占用反向波动加 num_workers 或把解码移到 GPU
存储侧iostat -x 1 的 r_await 明显上升、带宽远低于设备上限改顺序读、换分片格式、加客户端
GPU 侧(解码占卡)GPU 利用率高但不涨吞吐、显存被解码吃掉减少 DALI 并发或换回 CPU 解码

一个便宜有效的判断法:先用一个假数据(torch.randn 直接生成 batch,不读盘不解码)跑 50 步,得到"纯计算 step time";再用真实数据跑 50 步。两者差值就是数据管道的固定开销。这个差值如果超过总 step time 的 30%,任何模型侧优化都是在给数据管道交学费。

3. DataLoader:五个参数的官方默认值与真实代价 ​

PyTorch 官方签名里的默认值很容易被忽略(v2.12 文档原文):

python
DataLoader(dataset, batch_size=1, shuffle=False, num_workers=0,
           pin_memory=False, drop_last=False, timeout=0,
           worker_init_fn=None, *, prefetch_factor=2,
           persistent_workers=False, in_order=True)
参数默认说明与代价
num_workers00 表示在主进程读取,会阻塞计算;大于 0 才开子进程
prefetch_factor2(仅当 num_workers>0,等于 0 时为 None)每个 worker 预取 2 个 batch,合计 2 * num_workers 个 batch 在途
pin_memoryFalse开启后 Tensor 先放进锁页内存,H2D 拷贝更快
persistent_workersFalse默认每轮迭代结束就销毁 worker,下一轮重新拉起
in_orderTrue设为 False 不保证 FIFO 返回,官方明确警告会伤害可复现性并可能让训练看到偏斜分布

三个容易踩的点:

第一,prefetch_factor 是内存的乘法项。 在途 batch 数 = num_workers × prefetch_factor。8 workers × 2 = 16 个 batch 同时驻留。若一个 batch 是 64 张 512×512 的 RGB 图(约 200 MB),光预取就吃掉 3 GB 主机内存。

第二,worker 的内存不是"按需",是按父进程大小乘出来的。 官方文档写得很直白:worker 进程会消耗与父进程同样多的 CPU 内存(针对被 worker 访问到的所有 Python 对象),总占用约为 worker 数量 × 父进程大小。所以把整个文件名列表、标注表塞进 Dataset 的 __init__,再用 32 个 worker,等于把这份数据复制 32 次。官方给的解法是换成不按引用计数的表示(NumPy / PyArrow / Pandas)。

第三,不要把 CUDA Tensor 从 worker 里返回。 官方不建议在多进程加载中返回 CUDA Tensor,正确做法是 pin_memory=True 让主进程完成 H2D。

4. IterableDataset 的副本重复坑 ​

num_workers>0 时,每个 worker 会拿到 Dataset 对象的独立副本。对 map-style 数据集这没问题(索引由主进程的 sampler 分发);但对 IterableDataset,"每个 worker 从头开始迭代同一份流"就意味着数据重复。

官方给的两种修法:在 __iter__ 里用 torch.utils.data.get_worker_info() 自行切分;或在 worker_init_fn 里根据 worker_info.id 配置副本。另外注意 drop_last 在 iterable 模式下是"丢弃每个 worker 副本的最后一个不满 batch",而不是整个数据集最后一个 batch——分布式下这会静默少样本。

5. WebDataset:为什么顺序读能把本地盘吃满 ​

WebDataset 的格式约定只有两条:分片是 tar 文件,命名形如 something-000000.tar;一个训练样本由同名不同扩展名的文件组成(PMC4991227_00003.json + .png)。官方 README 给出的收益很具体:纯顺序 IO 管道在本地盘上比随机访问快 3–10 倍,这也是它能对接对象存储的原因——对象存储本来就不擅长小随机读。

常用写法:

python
import webdataset as wds

ds = (wds.WebDataset(urls, shardshuffle=True, nodesplitter=wds.split_by_node)
      .shuffle(1000)
      .decode("pil")
      .to_tuple("png", "json")
      .map(preprocess)
      .batched(16))

必须知道的四点:

  • shardshuffle 必须显式给值。不传会触发官方警告(WebDataset(shardshuffle=...) is None; set explicitly to False or a number),shard 顺序不确定会让"每轮不同顺序"这个假设失效。
  • 两级 shuffle 是两件事:shardshuffle 打乱 shard 顺序(跨 epoch 的粗粒度随机),.shuffle(buffer) 打乱 shard 内部样本(受 buffer 大小限制)。只做前者,同 shard 内样本顺序永远固定。
  • 分片要够多。split_by_node / split_by_worker 是把 shard 轮流分配给节点和 worker,如果 shard 数少于 节点数 × 每节点 worker 数,就会有节点分不到数据而空转。
  • 精确等分做不到。官方 README 明确说:固定 epoch 长度下跨多节点做到完全均衡的样本数是困难的,多节点训练通常要配 shard resampling(按 epoch 重采样分片)。这也是它相对 map-style 的最大劣势。

与存储侧的配合:若底层是并行文件系统,让 shard 大小落在条带宽度之上(例如 shard 几百 MB、条带 4 MB),单个 shard 就能被多 OST 并行读出;若底层是对象存储,就把 shard 控制在几十到几百 MB,避免单次 GET 过大导致重试代价高。

6. DALI:只在 CPU 解码确实是瓶颈时才上 ​

DALI 的核心思路是把解码与增广搬到 GPU:fn.decoders.image(device="mixed") 表示"在 CPU 上读字节、在 GPU 上解码",把最贵的 JPEG/视频解码从 CPU 移到 GPU。

它适用的场景很窄但很明确:

  • 图像/视频训练,且 top 显示解码进程吃满 CPU 而 GPU 大量空转;
  • 增广链路长(resize + crop + color + normalize),CPU 版本成为瓶颈;
  • 批量大小稳定、数据格式规整。

不适用:文本/序列类语料(DALI 没有对应算子)、样本长度差异极大的 NLP 任务、以及 GPU 显存本来就紧张的训练(解码会额外占显存,可能挤掉 activation 的空间)。

一个务实的判断:先量化 CPU 解码的时间占比(用 py-spy 或 cProfile 抓 30 秒),如果解码+增广占总 step time 不到 15%,上 DALI 得到的收益通常抵不过多引入的一层依赖与调试成本。

7. 三种场景的组合建议 ​

场景推荐管道关键参数/设计
图像分类/检测,样本 10⁵–10⁷ 量级,有标注表map-style DataLoader;CPU 解码打满再上 DALInum_workers ≈ 每卡 4–8;pin_memory=True;persistent_workers=True
大模型预训练语料(10⁹+ 样本,tar 分片)IterableDataset + WebDatasetshardshuffle 显式;shard 数 ≥ 节点数×worker 数;配 shard resampling
多模态(图像 + 文本 + 长视频)WebDataset 承载存储与分片,解码按需走 DALI先按 shard 顺序读,再对图像列单独走 GPU 解码
小数据集(能整体进内存)num_workers=0 + 全量预载不要为它引入多进程与分片,调试成本更高

8. 一套可复制的定位流程 ​

  1. 测纯计算基线:假数据跑 50 步,记 step_time_compute。
  2. 测真实数据:同配置跑 50 步,记 step_time_real;data_overhead = step_time_real - step_time_compute。
  3. 看 CPU:top -H / py-spy dump,确认时间花在解码、增广还是 Python 循环。
  4. 看存储:iostat -x 1 的 r_await、rkB/s 与设备上限对比;必要时对照并行文件系统的客户端带宽上限。
  5. 只改一个变量:先 num_workers(×2 递增到 CPU 核数一半),再 prefetch_factor,最后才考虑换管道形态。每次改动后重跑第 1、2 步。

9. 六个坑 ​

  • num_workers 越大越好:worker 内存 ≈ worker 数 × 父进程内存,先炸的往往是内存而不是吞吐。
  • 把文件名列表塞进 Dataset:字符串列表按引用计数存储,32 worker 就是 32 份拷贝,换 PyArrow/NumPy。
  • IterableDataset 忘分片:每个 worker 迭代同一份流,等于把数据重复喂给模型,loss 会异常平滑。
  • WebDataset 不设 shardshuffle:官方直接告警,且 shard 顺序固定会让"每轮不同序"失效。
  • shard 数少于节点×worker 数:部分节点分不到 shard,表现为某些 rank 直接空转、整体吞吐上不去。
  • 拿 DALI 治百病:文本任务没有对应算子;显存紧张时解码会和 activation 抢显存,越调越慢。

一句话收束:数据管道的第一原则是先量出开销占比,第二原则是让数据形态匹配存储的长处——顺序读配对象存储、条带宽度配大 shard、CPU 解码打满才上 GPU 解码。

相关文章 ​

AI-HPC 智算超算专家 · Contact: openaihpc@gmail.com