Skip to content

对象存储不是盘:S3 语义边界、挂载代价与数据湖对接 ​

一个 50 TB 的训练数据集放在对象存储里,训练机用 FUSE 把桶挂成目录,DataLoader 按样本逐个 open()。结果吞吐只有几十 MB/s,网卡远没跑满,CPU 却大量耗在 sys 态。加带宽没用,换机器也没用——瓶颈不在"搬字节",而在"每个文件都要问一次元数据",而每次询问都是一次跨网络的对象请求。

这不是挂载工具写得不好,而是对象存储的语义和文件系统不是一回事。这篇把边界摆在桌面上:S3 到底承诺了什么、把桶当盘用会在哪几个操作上失效、传输参数怎么按对象大小算、checkpoint 与数据湖又该怎么接。

一、S3 的承诺边界:单键原子,跨键无事务 ​

先把"它保证什么"钉死,后面的所有坑都是从这张表推出来的:

能力官方口径工程含义
PUT/DELETE 一致性所有区域提供强 read-after-write 一致性,覆盖新建、覆盖写、删除"写完立刻读得到",不需要 sleep 等同步
单键更新对同一个 key 的更新是原子的:并发 GET 只会拿到旧值或新值,不会拿到半截数据单对象替换安全
跨键操作官方明确:"There is no way to make atomic updates across keys"没有目录级事务,多对象提交不是原子的
并发写同一 key不提供对象锁,时间戳最新者胜多写者要自己设计锁/幂等
桶级配置最终一致:删桶后列表可能仍可见;首次开版本建议等 15 分钟再写自动化脚本要留缓冲
原语集合没有 rename、没有 append、没有目录文件系统的"原子改名提交"在这里不存在

一句话:S3 是"键 → 不可变字节块"的 KV,不是命名空间。很多训练工程的习惯——先写 x.tmp 再 mv 成 x 来保证"要么完整要么不存在"——在对象存储上只是"拷一份再删一份"。

二、四个"看起来能用、实际会炸"的操作 ​

S3 的承诺边界、四个看起来能用实际会炸的操作,以及“文件数决定耗时”的挂载判据

2.1 rename:一次改名 = 一次全量拷贝 ​

S3 没有 rename API,"改名"等于服务端 copy 加 delete。官方对 CopyObject 的限制很明确:单次原子拷贝上限 5 GB,更大的对象必须走 UploadPartCopy 分片拷贝。于是:

  • 10 GB 的 checkpoint 改个名,实际是一次 10 GB 的服务端读写(不占客户端带宽,但耗时与请求费用照付);
  • "把整个目录改名为 latest/"等于对目录下 N 个对象各做一次拷贝;
  • 拷贝大对象期间源和目标同时存在,容量按两份算。

2.2 append:整对象重写 ​

追加写日志、边训练边往同一个 checkpoint 文件里补分片,这类操作在 S3 上都要重写整个对象。这不是实现偷懒——对象是不可变的字节块,没有"就地追加"的语义。s3fs 的官方项目文档也把这条列为限制:随机写与追加"需要重写整个对象,靠 multipart copy 优化"。

2.3 list 当索引:每次最多 1000 个键 ​

ListObjectsV2 单次响应最多返回 1000 个键(默认就是至多 1000,响应可能更少),翻页要靠 NextContinuationToken。这意味着:

  • 100 万个样本文件 → 至少 1000 次列表请求才扫得完,每次一个网络往返;
  • "列一下目录看看有哪些文件"在文件系统里是内存操作,在这里是分布式请求;
  • 训练启动时"扫一遍数据集做索引"的习惯,会把启动时间从秒级拉到分钟级。

2.4 多客户端同挂一个桶:没有协调 ​

s3fs 官方限制里还有三条与训练直接相关:多客户端挂载同一桶之间没有协调、没有硬链接、inotify 只能看到本地改动。多机共享读写同一个挂载点,等于每个节点各自维护一份元数据缓存,看到的内容可能不一致。共享工作区这种需求,本质上要的是并行文件系统,不是对象存储。

三、挂载方案的代价账 ​

FUSE 挂载(s3fs、goofys 等)不是不能用,而是适用面很窄。按负载类型过一遍:

负载挂载是否合适原因
大文件顺序只读(数据集分发)合适接近"一次 GET 流式读完",FUSE 开销占比低
海量小文件随机读不合适每文件一次元数据请求 + 一次 GET,RTT 主导
频繁写入 + rename 提交不合适无原子改名,写放大,提交语义不成立
多机共享读写工作区不合适客户端间无协调,缓存不一致
断点续传/随机 seek 读大文件勉强可用依赖 Range 请求与本地缓存,需实测首字节延迟
checkpoint 热写不合适写入路径长、无 append、无原子提交

一个可操作的判据:如果这个目录里"文件数"比"字节数"更能决定你的耗时,就不要挂载。训练数据集动辄百万小文件,正是这一类。

四、正确姿势一:整对象顺序读写 + 预打包 ​

对象存储喜欢"少而大"的对象。把数据集从"百万小文件"改成"千级分片",几乎所有问题一起消失:

  • 打包:把 N 个样本打成 tar/分片格式(如每片 1 GB 的 shard),一个分片一次 GET 顺序读完。列表调用从"按 1000 键翻页的 1000 次"降到"1 次";对象请求数从"每样本一次"降到"每片一次"。
  • 清单代替列表:训练端不扫桶,而是读一个 manifest(JSON/Parquet),里面写清分片名、大小、校验和、样本数。manifest 本身是一个对象,读一次即可,天然绕开分页与前缀扫描。
  • 前缀设计:高并发请求集中在前缀上会触发限流,官方错误是 SlowDown(HTTP 503,"Please reduce your request rate")。分片名不要用纯递增序号做前缀,按时间/批次打散更稳;客户端遇到 503 要退避重试,而不是加大并发。

五、正确姿势二:按对象大小算传输参数 ​

AWS CLI 的 s3 系列命令有六个直接影响吞吐的参数,默认值如下(来自官方 CLI 文档,不是经验值):

参数默认值作用
max_concurrent_requests10同时在飞的请求数
max_queue_size1000任务队列上限
multipart_threshold8MB超过此大小转分片传输
multipart_chunksize8MB(上传下限 5MB)每片大小
max_bandwidth无限制限速,不参与 copy/delete
io_chunksize256KB下载时内存队列的单块大小

关键是分片算术,而不是把并发一味调大。S3 的分片上限是 10,000 片、单片 5 MiB–5 GiB、单对象最大 48.8 TiB:

  • 默认 8 MB 分片,对象一旦超过 80 GB(80,000 MB ÷ 8 MB = 10,000)就撞上片数上限,CLI 会自动调整分片大小,但自动调整未必是你要的值;
  • 1 TB 对象要用满 10,000 片,单片至少约 105 MB;
  • 48.8 TiB 的上限也正是"10,000 × 5 GiB"推出来的量级。

所以传输参数应当按对象大小反推:大对象先算 单片 ≥ 对象大小/10000,再定 multipart_chunksize;并发则按"网卡带宽 ÷ 单请求可达吞吐"估,常见从 10 提到 32–64 就够(这是经验口径,必须以实测为准,别照抄)。

六、校验:ETag 不是内容指纹 ​

用 ETag 做去重或完整性判断,是对象存储上最常见的错误之一。官方说明写得很清楚:ETag 是不是 MD5 取决于对象怎么创建、怎么加密:

创建方式ETag 是否为 MD5
PUT/POST/Copy + 明文或 SSE-S3是
PUT/POST/Copy + SSE-C 或 SSE-KMS否
Multipart Upload 或 Part Copy一律不是(与加密方式无关)
控制台上传/拷贝 >16 MB否(控制台会自动走分片)

正确做法是用 S3 的校验和机制:官方支持的算法包括 CRC64NVME(当前默认)、CRC32、CRC32C、SHA-1、SHA-256、MD5、XXHASH64/3/128、SHA-512;AWS 自家客户端在上传时会计算校验和并随请求发送,S3 服务端再独立算一遍比对后再落盘。工程上更稳的做法是:自己算 SHA256 写进 manifest,下载后本地复核,不依赖 ETag。

七、checkpoint:热路径别放对象存储 ​

把 checkpoint 直接写到对象存储(哪怕是挂载后的目录),会在三个地方同时别扭:

  1. 写入形态不匹配:DCP 这类分片保存会"每个写请求一个文件 + 一份 .metadata",对象存储上就是成百上千次 PUT,且没有原子改名来做"提交";
  2. 成功判据缺失:文件系统里"写完 fsync 返回"就算落盘,对象存储里要等 PUT 返回、且校验和通过;
  3. 恢复路径慢:多机同时读同一个 checkpoint 时,对象存储的首字节延迟与请求限流都会放大恢复时间。

务实的分层是:热 checkpoint 写本地 NVMe 或并行文件系统 → 异步上传对象存储归档。上传完成再更新"最新可用 checkpoint"的指针(一个小的 manifest 对象),恢复时先读指针再拉归档。DCP 的 async_save 与"两个 future"(staging 完成 / 上传完成)正好对应这个分层,细节见 分布式 checkpoint 实战;容量与水位口径见 容量与配额运营。

八、数据湖对接:元数据在目录服务,不在 list ​

数据湖的核心不是"把文件扔进桶",而是"让查询引擎不用扫对象就能定位数据":

  • 列式格式 + 分区前缀:Parquet/ORC 按 dt=2026-11-20/hour=03/ 这类分区组织,查询时靠分区裁剪跳过无关前缀;单个文件控制在几十到几百 MB(以所用引擎的官方建议为准),避免"百万小对象"。
  • 表格式元数据:Iceberg/Delta 这类表格式把"有哪些文件、统计信息、快照"写进元数据层,查询引擎读元数据而不是 ListObjects。S3 上也有官方形态——S3 Tables 就是"以 Apache Iceberg 格式存放表格数据"的专用桶类型。
  • 目录服务代替 list:训练侧最好也遵循同一原则——manifest/索引对象做"数据目录",桶只做"字节仓库"。

九、按用途定接口:一张落地对照表 ​

用途对象布局传输方式校验
原始数据集归档大分片(GB 级)+ manifestaws s3 cp/sync,分片≥对象/10000自算 SHA256 入 manifest
训练数据分发分片直接挂载只读,或预取到本地 NVMe顺序大读;避免每样本 open启动时抽样校验
热 checkpoint本地/PFS框架原生写fsync + 文件大小
checkpoint 归档按 step 前缀 + 指针对象异步上传,完成再切指针上传后 HEAD + 校验和
模型分发单文件大对象 + 版本前缀多机并发 GETSHA256
日志/指标按时间分片追加成新对象小对象批量合并后再传行数+校验和

十、落地清单与验收口径 ​

改造成不成功,用五个数验收,不靠感觉:

  1. 列表请求数:训练启动到开始出 batch,桶侧 ListObjects 调用次数应为常数(读 manifest 的 1–2 次),不是"文件数/1000"。
  2. 对象请求数/样本:应远小于 1(每分片一次,摊到样本上接近 0),而不是每样本 1 次。
  3. 顺序读带宽:单流大对象 GET 应能接近链路带宽的可用比例;若只有几十 MB/s,先查是不是小对象/小 Range。
  4. 写入提交方式:确认代码里没有"写临时对象再 rename"的假设;改为"写新 key + 更新指针"。
  5. 校验一致性:manifest 里的 SHA256 与下载后本地计算一致;ETag 不参与判定。

一个最小可用的分发脚本(参数按对象大小调,别照抄并发):

bash
# 1) 先打包成 GB 级分片(每个分片一个对象)
tar -cf dataset-v3-0000.tar -T shard-0000.list

# 2) 按对象逐片上传;大对象的分片大小按"对象大小/10000"的下限往上取
aws s3 cp dataset-v3-0000.tar s3://bucket/dataset/v3/dataset-v3-0000.tar

# 3) 用 HEAD 确认落盘大小(不要拿 ETag 当校验)
aws s3api head-object --bucket bucket --key dataset/v3/dataset-v3-0000.tar

# 配置文件 ~/.aws/config 中按需覆盖默认值
# [profile bulk]
# s3 =
#   max_concurrent_requests = 32
#   multipart_threshold = 64MB
#   multipart_chunksize = 128MB

十一、六个常见坑 ​

  1. 拿 ETag 当 MD5 做去重:分片上传与 SSE-KMS 的对象 ETag 根本不是内容 MD5;
  2. 把 mv 当原子提交:S3 上 rename = copy + delete,10 GB 对象改名要拷 10 GB;
  3. 用 list 做数据集索引:百万对象 = 千次分页请求,启动慢且容易被限流打 503;
  4. 多机共享一个挂载点当工作区:客户端之间没有协调,缓存不一致;
  5. checkpoint 直写桶:写入路径长、无原子提交、恢复时首字节延迟叠加;
  6. 分片大小没算片数:8 MB 分片默认值在 80 GB 以上对象就撞 10,000 片上限。

对象存储的正确用法只有一句:把它当"按 key 取整块字节"的仓库,元数据用清单/表格式自己管。想要目录、想要原子改名、想要多机共享写——那是并行文件系统的工作,两者分工见 训练数据存储选型。

相关文章 ​

AI-HPC 智算超算专家 · Contact: openaihpc@gmail.com