Skip to content

小文件与打包实战:目录布局、归档格式与 tar 参数 ​

一个很常见的现场:数据集是 1000 万张 20 KB 的图片,或者 300 万个 4 KB 的标注 JSON,直接 cp 进并行文件系统。df 显示只用了 200 GB,空间还很富余,但训练一开始 GPU 利用率就在 30% 上下抖动,ls 一个目录要等十几秒,做一次 rm -rf 能跑一整夜。

这不是"存储慢",是数据形态和存储的长处不匹配。并行文件系统的设计目标是大块、顺序、并发的读写;把一个目录塞进上千万个小文件,等于让它用最不擅长的方式工作。

本篇回答三个问题:

  1. 小文件的代价到底记在哪三本账上,怎么用现有工具量出来;
  2. 目录该怎么组织,什么时候必须打包,什么时候不该打包;
  3. 打包用哪种格式、tar 的哪些参数必须给,打包产物怎么校验。

小文件的代价与三条出路:三层开销、三条出路与判断顺序

文中所有关于格式限制、参数语义、目录建议的结论,都来自 GNU tar 手册、WebDataset 格式说明与 Lustre 官方文档原文;关于开销的量化口径,给的是可以在自己集群上复现的测量方法,不是拍脑袋的倍数。

1. 小文件贵在哪:三层开销,别混着说 ​

把"小文件慢"拆开,是三层完全不同的东西,对应的解法也不一样。

第一层:命名空间与 inode。 每个文件在元数据服务上都有一个 inode:类型、权限、属主、时间戳、大小、以及"数据落在哪些 OST 的哪些对象上"的映射。1000 万个文件就是 1000 万个 inode、1000 万条目录项。元数据服务能扛多少 inode、每秒能做多少次元数据操作,是两个独立的容量上限——前者是空间与内存,后者是 CPU 与锁。

第二层:元数据 RPC。 一次 open() 要走一次元数据请求,close() 可能再走一次,stat()、unlink() 各算一次。一个 20 KB 的文件,读它本身只产生一次 20 KB 的数据传输,但前面可能已经花了三次元数据往返。文件越小,元数据开销在总耗时里的占比越高。极端情况下,读 1000 万个文件产生的元数据操作数,是读 1000 个 200 GB 大文件的千万倍量级——但传输的字节数一模一样。

第三层:数据面碎片。 小文件在每个 OST 上占一个对象,一个对象至少占一个条带单元。如果目录被设成跨所有 OST 条带化(lfs setstripe -c -1),每个 20 KB 文件都要在所有 OST 上各占一段,空间放大、元数据项翻倍。Lustre 官方把这个做法列为常见错误:一旦某个 OST 写满,所有新写入都会 ENOSPC,哪怕整站还有大量空闲空间,因为 stripe_count 等于 OST 总数时 MDS 无法跳过已满的 OST。

判断顺序很重要:如果是第二层(元数据 RPC)打满,加 MDT 或改目录结构有用;如果是第一层(inode 耗尽),加空间没用,只能改数据形态;如果是第三层(碎片与空间放大),调条带参数有用,但根治还是打包。

2. 先量三个数,再谈改不改 ​

改形态是有代价的(打包要时间、要额外空间、会破坏"按文件名直接访问"的便利),所以先量。

数一:文件总数与平均大小。

bash
# 文件总数与总字节(大目录下 find 会比 ls 稳,注意它本身也要遍历一遍)
find /mnt/lustre/dataset -type f | wc -l
find /mnt/lustre/dataset -type f -printf '%s\n' | awk '{s+=$1} END {print NR, s/NR, s}'

输出是"文件数、平均字节、总字节"。经验分界:平均大小低于 1 MB 且文件数上千万,就该认真讨论打包;平均大小在几十 MB 以上,打包的收益主要是"减少文件数"而不是"提升单流带宽"。

数二:inode 水位。 lfs df -i 看 inode 使用率,比看空间更能预警。空间用到 80% 而 inode 用到 95%,说明瓶颈已经在命名空间侧。

数三:元数据操作占比。 在 MDT 上采两次 md_stats 做差,看 open、close、getattr、statfs 这几项在总操作里的占比。如果 open 每秒几十万次而数据传输速率并不高,那就是典型的"元数据风暴",不是带宽问题。

这三个数字一起看,才能判断该动目录、动条带、还是动数据形态。只盯着 df 的空间百分比,几乎一定会误判。

3. 目录怎么组织:分桶,而不是一个巨型目录 ​

单目录条目数是独立于文件总数的第二个变量。Lustre 能管上亿条目的目录,但官方文档的说法很明确:大目录在高并发元数据访问、或需要目录扫描(ls -lR、rm -Rf)时会引发性能下降与锁竞争,建议用多层目录而不是单个大目录来降低并行工作负载的争用。

落地成规则,就是三条:

  1. 单目录条目控制在 10 万量级以内。 超过这个量级,readdir 一次拿不全、扫描类操作会变慢,rm -Rf 的删除风暴会同时压满一个 MDT。
  2. 用两层分桶,不要一层铺平。 按内容哈希或按业务维度(数据集/版本/日期/分片号)取前两位或前四位做子目录名,例如 sha[:2]/sha[2:4]/file。这样目录数可控、单目录条目可控,且分桶键与文件名无关,不依赖内容分布。
  3. 分桶键要能算出来,不要靠扫。 如果分桶依赖"读文件内容才知道放哪",就没法做增量导入。用稳定的 ID(样本 ID 的哈希、原始文件路径的哈希)做分桶,任何进程都能独立算出目标目录,不需要先 ls。

不要做的事也很具体:不要在超大目录上反复跑带 stat 的并行扫描(ls -l 会为每个条目取属性,100 个进程同时扫就是 100 倍的元数据请求);不要按时间戳做分桶键(同一批导入的文件时间戳相同,会全落在一个桶里)。

如果目录本身已经成为热点,lfs setdirstripe -c N 把一个目录跨多个 MDT 条带化能提升对该目录的并行文件访问;但官方同时提示,这对并行目录扫描未必有收益——扫描通常要到所有相关 MDT 各取一部分再归并,可能反而更慢。所以条带化目录是"访问热点"的手段,不是"扫描提速"的手段。

4. 该不该打包:五条判据 ​

打包不是万能药,它把"随机访问 N 个文件"换成"顺序读一个容器",代价是失去按文件名直接取单个样本的能力(除非格式支持索引)。五条判据:

判据倾向打包倾向不打包
单文件平均大小小于 1 MB,且数量上千万单文件几十 MB 以上
访问模式训练时整批顺序读,样本随机但集合固定需要按 ID 原地随机读单个样本、频繁增删改
更新频率数据集版本化,一次生成、长期只读每日增量写入、边写边读
消费端框架按 shard 顺序拉取,天然接受依赖 POSIX 路径语义、外部工具按文件名取数
空间与 inodeinode 水位高、空间放大明显inode 充裕、空间不是瓶颈

反过来,有三种情况打包收益很低甚至为负:

  • 文件本来就大:把 500 MB 的 checkpoint 分片再打进 tar,只是多了一层外壳,读的时候还多一次解封装。
  • 需要原地随机写:tar 是只追加的流式格式,改一个样本要重写整个归档。这类负载应该用支持随机写的容器或直接留在文件系统。
  • 压缩换来的容量不值得 CPU:压缩率高的格式(如 zstd 级别高)解压会吃满 CPU,在 GPU 训练的数据管道上很容易把瓶颈从存储搬到 CPU。

5. 格式怎么选:一张矩阵,别只想到 tar ​

格式结构随机取单个样本顺序读适合谁
tar 分片多个 tar 文件,每个是一批样本的流不支持(要顺序扫到目标)最好,纯顺序图像/音频/文本样本集,框架侧已有 shard 读取
WebDatasettar + 两条命名约定按 shard 定位,shard 内顺序最好深度学习训练,多模态成组样本
Parquet列式、带行组与 footer 索引支持(按行组跳过)好结构化/表格型特征、需要按列裁剪
HDF5层级容器、分块数据集支持(按 chunk 索引)好科学计算数组、需要切片语义
TFRecord / RecordIO定长或变长记录的追加文件不支持,要顺序扫好已有 TensorFlow / MXNet 生态
zip中央目录 + 逐条压缩支持(读中央目录)一般(解压 CPU 高)需要"像文件夹一样"浏览的交付物,不适合训练热路径

三个判断原则:

  1. 训练热路径优先顺序读的流式格式(tar 系)。WebDataset 的官方说明写得很直白:它把 tar 当作容器,一个 tar 里属于同一样本的文件共享去掉扩展名后的 basename,分片按 something-000000.tar 到 something-012345.tar 编号,这样能构造纯顺序 IO 管道——官方给出的理由是顺序读比随机访问快 3 到 10 倍,并且这种形态天然适配对象存储。
  2. 需要按行组/按列裁剪的,用列式(Parquet)。它把"读哪些列"变成 IO 问题而不是解析问题,代价是写入端要聚合、不适合边写边训。
  3. 需要按切片取数组的,用 HDF5 类容器。但要清楚它的并发写能力弱,通常"一次写、多次读",不要拿它当多进程并发写的暂存区。

zip 单独提醒一句:它能随机取,是因为有中央目录;但每条都独立压缩,解压是纯 CPU 开销,而且很多训练框架不支持直接按成员读。它适合人下载,不适合训练。

6. tar 打包实操:格式限制与必须给的参数 ​

tar 看起来参数很多,真正会咬人的只有两类:格式限制和可复现参数。

6.1 格式限制:8 GiB 和 255 字节 ​

GNU tar 手册列出的格式限制,与打包数据集直接相关的是这几条:

  • v7:文件名与符号链接最长 100 字节;单文件必须小于 8 GiB(2³³ 字节 = 8,589,934,592 字节);UID/GID 必须小于 2²¹(2,097,152)。
  • ustar(POSIX.1-1988):文件名最长 255 字节,但超过 100 字节的部分必须在目录分隔符处拆成两段,前段最长 155 字节;符号链接仍限 100 字节;单文件同样小于 8 GiB;UID/GID/设备号小于 2²¹。
  • gnu:文件名长度无实际限制,但时间戳是整数,只有 1 秒分辨率,亚秒信息丢失;UID/GID 限 64 位,设备号限 63 位。
  • posix(POSIX.1-2001):对文件大小、时间戳范围与分辨率、文件名长度、UID 位数都无实际限制,是功能最全的格式;手册明确说它将是 GNU tar 未来的默认格式。

结论很实用:打包大文件必须用 --format=posix 或 gnu,不能用 ustar/v7,否则超过 8 GiB 的单个成员会失败;而如果你的文件系统里文件名普遍接近 255 字节(深度嵌套的路径),ustar 的"100+155 拆分"很容易踩到边界,也建议直接用 posix。

注意 GNU tar 的默认格式是编译时决定的(通常是 gnu),不是运行时固定。所以打包脚本里应该显式写 --format=posix,别依赖默认值。

6.2 可复现:让同一批数据打出同一个字节流 ​

数据集打包有个刚需:同一个版本打两次,sha256 应该一样。否则下游无法用校验值判断"这份数据有没有被换过",也没法做增量去重。

GNU tar 手册给了一套可复现参数,原因是两次打包即使内容相同,也可能因为修改时间不同、目录项顺序不同而字节不同。手册建议在 C locale 下使用:

bash
LC_ALL=C tar \
  --sort=name \
  --format=posix \
  --pax-option='exthdr.name=%d/PaxHeaders/%f' \
  --pax-option='delete=atime,delete=ctime' \
  --clamp-mtime --mtime="$SOURCE_EPOCH" \
  --numeric-owner --owner=0 --group=0 \
  --mode='go+u,go-w' \
  -cf - dataset/ | gzip --no-name -9 > dataset.tar.gz

逐条解释:

  • --sort=name:消除目录项顺序的差异(不同文件系统、不同 readdir 顺序打出来不一样)。
  • --format=posix:避开大文件与异常时间戳的问题,并启用 --pax-option。
  • --pax-option='delete=atime,delete=ctime':atime/ctime 与内容无关,删掉。
  • --clamp-mtime --mtime=...:把所有比基准时间新的文件时间统一钳到基准时间,而不是要求文件时间恰好一致。
  • --numeric-owner --owner=0 --group=0:去掉 UID/GID 与用户名差异(跨集群打包必踩)。
  • --mode='go+u,go-w':权限只保留属主的那份,去掉组与其他位的差异。
  • gzip --no-name:gzip 头里默认带原始文件名与时间戳,--no-name(-n)去掉它,否则压缩包每次都不同。

一个代价要提前知道:--sort=name 需要先把目录树读进来排序,对千万级文件会额外占内存与时间。如果数据量大到排不动,退一步的做法是"先固定输入顺序"——用 -T 从文件列表读成员,列表本身由脚本按确定顺序生成,tar -T list.txt --no-recursion,同时仍然给 --mtime、--numeric-owner 等参数。这样顺序可控但不必全量排序。

6.3 分片:一个 tar 不要打到几个 TB ​

单个 tar 有几个现实上限:打包时间、失败重打的代价、以及消费端只能串行读一个文件。所以数据集通常切成多个 shard。WebDataset 的命名约定是 something-000000.tar 到 something-012345.tar,训练时用 brace 展开(something-{000000..012345}.tar)就能拿到完整列表。

shard 大小的经验值:每个 shard 几百 MB 到 1 至 2 GB。理由有三个:小于百 MB 时 shard 数暴涨,元数据开销又回来了;大于几 GB 时单 shard 打包时间长、失败重打成本高;几百 MB 也正好落在并行文件系统的条带宽度之上,单流能跑满。

打包时按"样本组"切,不要按字节硬切:多模态样本(图 + 标注)必须在同一个 shard 内、且文件名 basename 一致,否则消费端配对会错乱。WebDataset 的约定正是"同一 tar 内、去掉所有扩展名后 basename 相同的文件构成一个样本"。

7. 打包本身的瓶颈:串行遍历,别指望它跑满带宽 ​

打包是元数据密集型操作,不是带宽密集型。哪怕底层有几百 GB/s 的聚合带宽,一个单进程 tar 打包千万小文件,实际瓶颈通常落在两个地方:目录遍历(readdir)与逐文件取属性/打开(stat + open)。这两件事都只能在单个 MDT 的命名空间上串行推进。

所以合理的做法是并行化"输入侧",而不是并行化"输出侧":

bash
# 按第一层子目录分片并行打包,每个进程负责一棵子树,产出独立 shard
for d in $(ls -d dataset/*/ ); do
  name=$(basename "$d")
  tar --format=posix --numeric-owner --owner=0 --group=0 \
      --mtime="$SOURCE_EPOCH" -cf "shards/${name}.tar" "$d" &
done
wait

要点:

  • 并行度取子目录数,不要按文件切。 同一目录下多进程同时 readdir 只会互相争锁。
  • 输出写到另一个位置,不要写回同一个正被读取的热目录。打包产物本身是"少量大文件",放热区没问题,但要和源数据分开,避免边读边写同一棵树的元数据。
  • 先估空间:压缩前是原始总字节 + 每个成员约 1 KB 的头部开销(含 512 字节头 + 长文件名扩展记录 + 512 字节填充对齐)。千万文件的光头部开销就是十几 GB,别按"数据大小"约空间。
  • 给进度:--checkpoint=10000 --checkpoint-action=dot 能看到打包在推进,否则一个长任务看起来像卡死。

8. 解包与校验:打包只做了一半 ​

打包产物必须能被验证,否则"数据搬过去了"只是自我安慰。三件套:

  1. 文件数与字节数:tar -tvf shard.tar | wc -l 与源侧 find | wc -l 对得上;成员大小求和与源侧总字节对得上。
  2. 清单与哈希:打包前生成逐文件 sha256 清单(sha256sum 输出),与数据同生命周期保存;打包后对归档算整体 sha256。前者能定位"哪一条坏了",后者能判断"整包有没有被换过"。
  3. 抽检解包:从每个 shard 抽若干样本解出来、按格式解码一次,确认不是"能解开但内容错位"。

并行解包的做法与打包对称:按 shard 分进程,每个进程解一个 tar;先把目标目录建好再解,避免多进程同时创建同一层目录产生竞争。

bash
mkdir -p dataset/{000000..012345}
for s in shards/*.tar; do
  idx=$(basename "$s" .tar)
  tar -xf "$s" -C "dataset/$idx" &
done
wait

--strip-components=N 用来去掉归档里多余的前缀层级,比解完再 mv 一遍省一次元数据操作。

9. 什么时候不要打包 ​

前面说过判据,这里给出四个"反例",都是现场踩过的:

  • checkpoint:checkpoint 是"少数大文件、需要原子替换、需要被训练进程直接按路径读"。把它打进 tar,等于给一个已经是大文件的负载再加一层,收益为零。它需要的是分片与异步保存。
  • 正在增量写入的日志/实验记录:追加写、随时读,tar 的只追加语义反而合适,但每次改动都重写整包不可接受。这类应该走"按时间滚动的多个小归档",而不是一个总包。
  • 需要 POSIX 语义的中间结果:多进程按文件名交换中间结果、用 mv 做原子提交、用 flock 协调,这些在 tar 里都不成立。打包只适合"终态数据集"。
  • 访问频率极低但需要长期保留的冷数据:这类更适合直接进对象存储或归档层,打包只是搬运时顺手做的事,不必在热区留一份 tar。

10. 一页检查表 ​

  • [ ] 先数三个数:文件总数、平均大小、inode 水位;再决定改目录还是改形态。
  • [ ] 单目录条目控制在 10 万量级,用两层哈希/业务分桶,分桶键可独立算出。
  • [ ] 不在超大目录上并行跑 ls -l 类扫描;删除用分批或按分桶逐个清。
  • [ ] 小文件密集的目录不要 lfs setstripe -c -1(全 OST 条带化会让单个 OST 满就整体 ENOSPC)。
  • [ ] 打包前确认单成员是否超过 8 GiB:超过就必须 --format=posix 或 gnu。
  • [ ] 打包脚本显式写 --format,不依赖编译期默认格式。
  • [ ] 需要可复现就上全套:--sort=name、--mtime、--numeric-owner --owner=0 --group=0、--mode、gzip --no-name。
  • [ ] shard 大小落在几百 MB 到 1–2 GB,按样本组切,不按字节硬切。
  • [ ] 并行打包按子树,不按文件;输出与源数据分开。
  • [ ] 预留头部开销(千万文件约十几 GB),不要只按数据字节估空间。
  • [ ] 校验三件套:成员数、字节数、逐文件清单 + 整包哈希。
  • [ ] 保留"随时能退回文件形态"的路径,打包前不要删源。

11. 五个坑 ​

  1. 把 df 的空间百分比当健康度。 小文件负载先打满的通常是 inode 与元数据吞吐,空间还剩很多。
  2. 一个 tar 打到几 TB。 打一次几小时,失败重打几小时,消费端还只能串行读。分片是第一原则。
  3. 用 ustar 打大文件。 单成员超过 8 GiB 直接失败,报错信息往往只提"文件太大",容易误判成磁盘问题。
  4. 跨集群打包不带 --numeric-owner。 UID/GID 映射不同,解包后属主全变成数字或错误用户,后续权限排查能耗掉一天。
  5. 打包完只做"能解开"就宣布成功。 不解码、不比对成员数与字节数,等到训练报"样本损坏"才发现是打包时截断。

一句话总结:小文件的问题不在"存储慢",在"用错了形态";打包不是把文件塞进一个盒子,而是把随机访问换成顺序访问、把千万条元数据换成几十条——参数、格式、分片和校验,每一环都要按规范给全。

相关文章 ​

AI-HPC 智算超算专家 · Contact: openaihpc@gmail.com