数据完整性实战:端到端校验、scrub 与静默损坏处置
摘要:训练集群最贵的资产不是卡,是那批跑了几周才产出的 checkpoint 和好不容易清洗好的语料。RAID 与副本解决的是"盘坏了数据还在",但解决不了"盘没坏、数据已经错了"——后者就是静默损坏(silent data corruption)。要防住它,必须有一条从应用到介质的端到端校验链,外加定期的 scrub。这两件事在多数集群里被混为一谈,结果就是校验开了、scrub 跑了,坏块还是没被发现。
1. 静默损坏为什么防不住
静默损坏指"读回来的数据和写进去的不一致,但读操作本身没有报错"。它可能发生在四个位置:介质(扇区退化、写缓存丢数据)、控制器与线缆、文件系统与 RAID 固件(校验值本身算错或被绕过)、以及软件路径(缓冲区错位、错误的读改写)。
RAID 与副本的防护有一个前提:它只能比对"自己算出来的校验值",且只在数据路径经过它时才起作用。如果坏块长期没有被读到,RAID 永远不会知道;如果控制器返回了错误数据但仍然标记成功,文件系统也不会知道;如果 RAID 卡在没有电池保护的写缓存里丢了写,重建时甚至会拿旧数据去"修复"新数据。
所以工程上要接受一个事实:没有任何单层机制能保证完整性。可用的办法是把校验分层,让每一层只做自己擅长的事,并且定期主动去读——因为"不读就不知道坏"。
2. 三层校验各自管什么
| 层次 | 保护范围 | 典型机制 | 检测不到的 |
|---|---|---|---|
| 介质/设备层 | 扇区级 | 盘内 ECC、RAID 校验、端到端 T10 PI | 控制器/固件层错误、写缓存丢失、长时间未读的坏块 |
| 文件系统层 | 文件数据块 | 块级校验和、副本/EC 冗余、scrub | 应用写错但校验一致的数据(逻辑损坏) |
| 应用层 | 语义正确 | checkpoint/分片的 sha256 清单、写入后校验 | 需要应用自己实现,覆盖不到未纳入清单的文件 |
三层的关系是"叠加"而不是"替代":文件系统层的 scrub 能发现介质退化,但发现不了"这份 checkpoint 写的时候就是坏的";应用层清单能发现逻辑损坏,但需要额外 IO 与维护成本。AI 集群里合理的做法是文件系统层做常态 scrub + 应用层对关键产物做清单校验,中间层交给硬件 PI/RAID。
3. ZFS:checksum 与 scrub 的真实语义
ZFS 的文档写得最清楚,读明白它再谈其他文件系统会省很多口舌。
checksum 属性决定校验算法。官方 zfsprops 手册原文:默认值 on 表示"自动选择合适的算法"(当前是 fletcher4,未来可能变化);off 会关闭用户数据的完整性检查,官方明确写了"Disabling checksums is NOT a recommended practice"。可选算法包括 fletcher2、fletcher4、sha256、sha512、skein、edonr、blake3,其中后四者需要在池上启用相应 feature。还有一个很实用的细节:改 checksum 只影响之后新写入的数据,所以切换算法不是"改完就生效",历史数据要等重写或搬迁才会换算法。
选算法前先量化开销:chksum_bench 这个 kstat(Linux 上是 /proc/spl/kstat/zfs/chksum_bench)会报告当前机器上各算法实现的实测速度。凭感觉认为"sha256 一定慢"往往不准,尤其在有硬件加速指令的平台上。
两个容易被忽略的冗余旋钮:
copies=1|2|3,在池级冗余(mirror/raidz)之外的额外副本,尽量落在不同盘上;redundant_metadata=all|most|some|none,默认all。官方明确给出后果:设为most时"单个磁盘块损坏最坏情况下约 1000 个 recordsize 大小的用户数据块可能丢失",设为none时"整个数据集可能丢失"。这不是可以随手调的性能参数。
scrub 的语义(zpool-scrub(8)):
- 普通 scrub 检查池中所有数据,逐块校验 checksum;彻底 scrub(
-t) 额外解密和解压读到的块,用来抓"checksum 对得上、但解密/解压失败"这种罕见损坏(加密数据集需要先加载密钥); - scrub 与 resilver 的区别是:resilver 只检查 ZFS 已知过期的数据,scrub 检查全部数据,目的就是发现静默错误;
- 对 mirror / raidz / draid 设备,ZFS 在 scrub 中发现损坏会自动修复;
- scrub 分两段:先做元数据扫描,把块整理成大段连续区间,再按序 scrub 数据块——这就是为什么
zpool status里会同时出现 "scanned" 和 "issued" 两个速率(官方示例:403M / 405M scanned at 100M/s, 68.4M / 405M issued at 10.0M/s),元数据扫描快、真正读数据慢,两者不是同一个指标; - 同一时间只允许一个 scrub 或 resilver;resilver 未完成时不能启动 scrub;
- scrub 可暂停(
-p)、停止(-s)、续跑;暂停状态会周期落盘,重启或导出再导入后仍然保持暂停,必须显式恢复; -S/-E可以限定日期范围(格式YYYY-MM-DD HH:MM),适合"只校验最近一个月的产物"这种增量策略;-C从上一次保存的 txg 继续;-e只 scrubzpool status -v已报告错误的文件(前提是池启用head_errlogfeature 且已完整 scrub 过一次);- 定期 scrub 不需要自己写 cron:官方提供 systemd timer,例如
systemctl enable zfs-scrub-weekly@rpool.timer --now,也有 monthly 版本。
坏块定位:zpool status -v 会列出出错的文件路径。注意官方提示的一个例外:加密数据集在密钥未加载时遇到不可修复的校验错误,文件名无法出现在详细报告里——这决定了你的应急预案里必须写"先加载密钥,再收集证据"。
4. Lustre:网络校验与 LFSCK 的边界
Lustre 手册对完整性只承诺了两件明确的事:
- 网络数据完整性:客户端发往 OSS 的所有数据带 checksum,用于防止传输过程中的损坏。这保护的是链路与网卡,不是盘上的数据。
- LFSCK:一个在线分布式一致性检查工具,能在文件系统仍在使用时运行。它校验每个目录项的 FID、每个 inode 的 linkEA 并在失效时重建,用途是"重大文件系统错误后恢复存储组件之间的一致性"。它检查的是元数据一致性,不校验文件数据内容。
这个边界很重要:很多人把 LFSCK 当成"Lustre 版的 scrub",跑完就认为数据没问题——这是错的。Lustre 不做全量数据内容扫描,数据层完整性依赖后端文件系统。
数据层的实际做法取决于 OST 的后端:
- 后端是 ldiskfs:离线
e2fsck。手册给的时间口径很实在:正常文件系统"合理的时间是每 TiB 5–30 分钟",但"如果检测到大量错误需要修复,可能显著增加"。这就是为什么 scrub 窗口必须按最坏情况排,而不是按理想值排。 - 后端是 ZFS:用
zpool scrub,语义就是上一节讲的那套。
先看状态再动手。lfs df 会在目标状态列打印标记,其中两个直接与完整性相关:D 表示降级(RAID 里有坏盘或正在重建,新分配会避开该目标,但已有文件仍会读它);R 表示只读——手册原文是被 ldiskfs 或 ZFS 检测到文件系统损坏,此时不允许任何修改,需要卸载后跑 e2fsck 或 zpool scrub 来修复。看到 R 的正确反应是止损并保留现场,不是重启试试。
5. BeeGFS:在线可以检查,但官方劝你别让它自动修
BeeGFS 提供 beegfs-fsck 作为文件系统检查工具(官方安装文档里明确列为管理员工具之一),文档里另有"BeeGFS File System Check"与"Suggested Procedure for a Large File System"两节,大文件系统按官方流程走比自创流程稳。
官方发行说明里有两条很值得引用的口径:
- 8.3 改进了在线运行 fsck 的健壮性(忽略存储服务读取刚被删除的 chunk 时可能出现的
ENOENT),但同一条里仍然写着"仍然建议在在线系统上以只读模式运行 fsck"; - 8.2 把"删除孤儿 chunk"重新作为修复动作开放,但加了交互式确认(需要输入确认短语),并明确写着"使用自动修复选项(不推荐)时,孤儿 chunk 删除总是被跳过"。
换句话说,BeeGFS 的设计取向是:检查可以在线做,修复要人看着做。这和 ZFS 的"发现即自动修复"是两种哲学,前者更保守(避免误删),后者更快(依赖冗余可靠)。选型时这点值得写进运维手册,而不是等出事时才发现团队不知道自动修复被关掉了。
6. 应用层:给关键产物做清单校验
文件系统层管不到逻辑损坏,AI 集群里最该补这一层的对象是 checkpoint 和清洗好的数据集分片。
最小可用方案是"写入即算、用前必验":
# 1) 写入完成后生成清单(与数据同目录,随数据一起备份)
find /ckpt/run-20261119 -type f -print0 \
| xargs -0 sha256sum > /ckpt/run-20261119.sha256
# 2) 恢复训练前校验,任何一行 FAILED 都必须先停下来
sha256sum -c /ckpt/run-20261119.sha256
# 3) 删除旧 checkpoint 前,先校验再删;校验失败时保留上一份
sha256sum -c /ckpt/run-20261118.sha256 && rm -rf /ckpt/run-20261117三条纪律比脚本本身重要:
- 清单必须与数据同生命周期——只备份数据不备份清单,等于校验链断了;
- "校验失败"必须是硬失败,不能让训练脚本"重试一次继续跑",否则坏数据会进入下一轮;
- 删除动作永远排在校验之后,且校验失败时保留上一份可用 checkpoint——这是断点续训场景下唯一能救命的一条。
代价也要说清:全量 sha256 是纯 CPU 与 IO 开销,TB 级 checkpoint 上会明显拖慢保存路径。务实做法是分层:核心 checkpoint 全量校验,中间产物只校验大小与条数,或者只对分片做抽样校验。
7. 发现坏块之后:定位、隔离、修复、取证
顺序不能乱,尤其"取证"容易被跳过,导致同类问题重复发生。
- 定位:ZFS 用
zpool status -v拿到文件路径与 vdev;Lustre 先看lfs df的D/R标记,再落到具体 OST;BeeGFS 用beegfs-fsck的输出定位 inode/chunk。 - 隔离:把受影响目标置为不再分配新数据(Lustre 的降级标记已经自动做到这一点),并把受影响文件从训练队列里摘出来,避免它继续被读进 GPU。
- 修复:优先用冗余(mirror/raidz/EC 重建)与备份恢复;ZFS 的 scrub 会自动修复有冗余的块。不要在没有第二份副本的情况下让工具"尽力修复"——多数修复工具的默认行为是让文件可读,而不是让内容正确。
- 取证:保留
zpool status输出、出错文件清单、时间点、当时的负载与温度/电源事件。静默损坏的根因往往在介质之外(供电、背板、HBA 固件、内存 ECC 事件),没有现场就只能反复踩同一个坑。
8. 运营口径:频率、窗口与监控
- 频率:按"数据变更量"定,不是按日历定。日增量大、盘龄老的集群,weekly scrub 是下限;只读归档池可以 monthly。ZFS 官方提供的 weekly/monthly systemd timer 就是按这个粒度设计的。
- 窗口:scrub 是满盘顺序读,一定与训练 IO 抢带宽。可用的手段有限但有效:避开 checkpoint 高峰、用
-S/-E限定范围做增量、必要时用-p暂停并在窗口外续跑(暂停状态跨重启保留)。 - 监控指标:scrub 完成率与耗时、
repaired字节数、校验错误计数、每次 scrub 后新增的错误文件数。"修复字节持续大于 0"是最该报警的信号——它意味着介质在持续退化,而不是一次性事故。 - 别把 scrub 当备份:scrub 只能修复有冗余的块;副本坏了、EC 条带里坏了两块、或者有人误删,scrub 都无能为力。scrub 与备份是两件事,不能互相替代。
9. 五个常见误区
- "RAID 有校验就不会静默损坏":RAID 只在你读它、且它自己算得对的时候起作用;长期不读的坏块它不知道。
- "跑过 LFSCK 就说明数据没问题":LFSCK 查的是元数据一致性,不校验数据内容。
- "scrub 越频繁越好":scrub 是满盘读,频率过高会持续蚕食训练带宽,也会加速老旧盘暴露问题——按变更量排期更合理。
- "校验算法越强越好":强算法有 CPU 与 feature 代价,且改属性只影响新数据;先用
chksum_bench量一下再决定。 - "在线 fsck 可以自动修":BeeGFS 官方明确不推荐自动修复;ZFS 的自动修复只在有冗余时成立。修复前先确认冗余与备份都在。
一句话收束:完整性靠的是"分层校验 + 定期主动读 + 修复前先取证",不是靠某一块 RAID 卡或某一个命令。