Skip to content

数据完整性实战:端到端校验、scrub 与静默损坏处置 ​

摘要:训练集群最贵的资产不是卡,是那批跑了几周才产出的 checkpoint 和好不容易清洗好的语料。RAID 与副本解决的是"盘坏了数据还在",但解决不了"盘没坏、数据已经错了"——后者就是静默损坏(silent data corruption)。要防住它,必须有一条从应用到介质的端到端校验链,外加定期的 scrub。这两件事在多数集群里被混为一谈,结果就是校验开了、scrub 跑了,坏块还是没被发现。

1. 静默损坏为什么防不住 ​

静默损坏指"读回来的数据和写进去的不一致,但读操作本身没有报错"。它可能发生在四个位置:介质(扇区退化、写缓存丢数据)、控制器与线缆、文件系统与 RAID 固件(校验值本身算错或被绕过)、以及软件路径(缓冲区错位、错误的读改写)。

RAID 与副本的防护有一个前提:它只能比对"自己算出来的校验值",且只在数据路径经过它时才起作用。如果坏块长期没有被读到,RAID 永远不会知道;如果控制器返回了错误数据但仍然标记成功,文件系统也不会知道;如果 RAID 卡在没有电池保护的写缓存里丢了写,重建时甚至会拿旧数据去"修复"新数据。

所以工程上要接受一个事实:没有任何单层机制能保证完整性。可用的办法是把校验分层,让每一层只做自己擅长的事,并且定期主动去读——因为"不读就不知道坏"。

2. 三层校验各自管什么 ​

层次保护范围典型机制检测不到的
介质/设备层扇区级盘内 ECC、RAID 校验、端到端 T10 PI控制器/固件层错误、写缓存丢失、长时间未读的坏块
文件系统层文件数据块块级校验和、副本/EC 冗余、scrub应用写错但校验一致的数据(逻辑损坏)
应用层语义正确checkpoint/分片的 sha256 清单、写入后校验需要应用自己实现,覆盖不到未纳入清单的文件

三层的关系是"叠加"而不是"替代":文件系统层的 scrub 能发现介质退化,但发现不了"这份 checkpoint 写的时候就是坏的";应用层清单能发现逻辑损坏,但需要额外 IO 与维护成本。AI 集群里合理的做法是文件系统层做常态 scrub + 应用层对关键产物做清单校验,中间层交给硬件 PI/RAID。

3. ZFS:checksum 与 scrub 的真实语义 ​

ZFS 的文档写得最清楚,读明白它再谈其他文件系统会省很多口舌。

checksum 属性决定校验算法。官方 zfsprops 手册原文:默认值 on 表示"自动选择合适的算法"(当前是 fletcher4,未来可能变化);off 会关闭用户数据的完整性检查,官方明确写了"Disabling checksums is NOT a recommended practice"。可选算法包括 fletcher2、fletcher4、sha256、sha512、skein、edonr、blake3,其中后四者需要在池上启用相应 feature。还有一个很实用的细节:改 checksum 只影响之后新写入的数据,所以切换算法不是"改完就生效",历史数据要等重写或搬迁才会换算法。

选算法前先量化开销:chksum_bench 这个 kstat(Linux 上是 /proc/spl/kstat/zfs/chksum_bench)会报告当前机器上各算法实现的实测速度。凭感觉认为"sha256 一定慢"往往不准,尤其在有硬件加速指令的平台上。

两个容易被忽略的冗余旋钮:

  • copies=1|2|3,在池级冗余(mirror/raidz)之外的额外副本,尽量落在不同盘上;
  • redundant_metadata=all|most|some|none,默认 all。官方明确给出后果:设为 most 时"单个磁盘块损坏最坏情况下约 1000 个 recordsize 大小的用户数据块可能丢失",设为 none 时"整个数据集可能丢失"。这不是可以随手调的性能参数。

scrub 的语义(zpool-scrub(8)):

  • 普通 scrub 检查池中所有数据,逐块校验 checksum;彻底 scrub(-t) 额外解密和解压读到的块,用来抓"checksum 对得上、但解密/解压失败"这种罕见损坏(加密数据集需要先加载密钥);
  • scrub 与 resilver 的区别是:resilver 只检查 ZFS 已知过期的数据,scrub 检查全部数据,目的就是发现静默错误;
  • 对 mirror / raidz / draid 设备,ZFS 在 scrub 中发现损坏会自动修复;
  • scrub 分两段:先做元数据扫描,把块整理成大段连续区间,再按序 scrub 数据块——这就是为什么 zpool status 里会同时出现 "scanned" 和 "issued" 两个速率(官方示例:403M / 405M scanned at 100M/s, 68.4M / 405M issued at 10.0M/s),元数据扫描快、真正读数据慢,两者不是同一个指标;
  • 同一时间只允许一个 scrub 或 resilver;resilver 未完成时不能启动 scrub;
  • scrub 可暂停(-p)、停止(-s)、续跑;暂停状态会周期落盘,重启或导出再导入后仍然保持暂停,必须显式恢复;
  • -S / -E 可以限定日期范围(格式 YYYY-MM-DD HH:MM),适合"只校验最近一个月的产物"这种增量策略;-C 从上一次保存的 txg 继续;-e 只 scrub zpool status -v 已报告错误的文件(前提是池启用 head_errlog feature 且已完整 scrub 过一次);
  • 定期 scrub 不需要自己写 cron:官方提供 systemd timer,例如 systemctl enable zfs-scrub-weekly@rpool.timer --now,也有 monthly 版本。

坏块定位:zpool status -v 会列出出错的文件路径。注意官方提示的一个例外:加密数据集在密钥未加载时遇到不可修复的校验错误,文件名无法出现在详细报告里——这决定了你的应急预案里必须写"先加载密钥,再收集证据"。

4. Lustre:网络校验与 LFSCK 的边界 ​

Lustre 手册对完整性只承诺了两件明确的事:

  1. 网络数据完整性:客户端发往 OSS 的所有数据带 checksum,用于防止传输过程中的损坏。这保护的是链路与网卡,不是盘上的数据。
  2. LFSCK:一个在线分布式一致性检查工具,能在文件系统仍在使用时运行。它校验每个目录项的 FID、每个 inode 的 linkEA 并在失效时重建,用途是"重大文件系统错误后恢复存储组件之间的一致性"。它检查的是元数据一致性,不校验文件数据内容。

这个边界很重要:很多人把 LFSCK 当成"Lustre 版的 scrub",跑完就认为数据没问题——这是错的。Lustre 不做全量数据内容扫描,数据层完整性依赖后端文件系统。

数据层的实际做法取决于 OST 的后端:

  • 后端是 ldiskfs:离线 e2fsck。手册给的时间口径很实在:正常文件系统"合理的时间是每 TiB 5–30 分钟",但"如果检测到大量错误需要修复,可能显著增加"。这就是为什么 scrub 窗口必须按最坏情况排,而不是按理想值排。
  • 后端是 ZFS:用 zpool scrub,语义就是上一节讲的那套。

先看状态再动手。lfs df 会在目标状态列打印标记,其中两个直接与完整性相关:D 表示降级(RAID 里有坏盘或正在重建,新分配会避开该目标,但已有文件仍会读它);R 表示只读——手册原文是被 ldiskfs 或 ZFS 检测到文件系统损坏,此时不允许任何修改,需要卸载后跑 e2fsck 或 zpool scrub 来修复。看到 R 的正确反应是止损并保留现场,不是重启试试。

5. BeeGFS:在线可以检查,但官方劝你别让它自动修 ​

BeeGFS 提供 beegfs-fsck 作为文件系统检查工具(官方安装文档里明确列为管理员工具之一),文档里另有"BeeGFS File System Check"与"Suggested Procedure for a Large File System"两节,大文件系统按官方流程走比自创流程稳。

官方发行说明里有两条很值得引用的口径:

  • 8.3 改进了在线运行 fsck 的健壮性(忽略存储服务读取刚被删除的 chunk 时可能出现的 ENOENT),但同一条里仍然写着"仍然建议在在线系统上以只读模式运行 fsck";
  • 8.2 把"删除孤儿 chunk"重新作为修复动作开放,但加了交互式确认(需要输入确认短语),并明确写着"使用自动修复选项(不推荐)时,孤儿 chunk 删除总是被跳过"。

换句话说,BeeGFS 的设计取向是:检查可以在线做,修复要人看着做。这和 ZFS 的"发现即自动修复"是两种哲学,前者更保守(避免误删),后者更快(依赖冗余可靠)。选型时这点值得写进运维手册,而不是等出事时才发现团队不知道自动修复被关掉了。

6. 应用层:给关键产物做清单校验 ​

文件系统层管不到逻辑损坏,AI 集群里最该补这一层的对象是 checkpoint 和清洗好的数据集分片。

最小可用方案是"写入即算、用前必验":

bash
# 1) 写入完成后生成清单(与数据同目录,随数据一起备份)
find /ckpt/run-20261119 -type f -print0 \
  | xargs -0 sha256sum > /ckpt/run-20261119.sha256

# 2) 恢复训练前校验,任何一行 FAILED 都必须先停下来
sha256sum -c /ckpt/run-20261119.sha256

# 3) 删除旧 checkpoint 前,先校验再删;校验失败时保留上一份
sha256sum -c /ckpt/run-20261118.sha256 && rm -rf /ckpt/run-20261117

三条纪律比脚本本身重要:

  1. 清单必须与数据同生命周期——只备份数据不备份清单,等于校验链断了;
  2. "校验失败"必须是硬失败,不能让训练脚本"重试一次继续跑",否则坏数据会进入下一轮;
  3. 删除动作永远排在校验之后,且校验失败时保留上一份可用 checkpoint——这是断点续训场景下唯一能救命的一条。

代价也要说清:全量 sha256 是纯 CPU 与 IO 开销,TB 级 checkpoint 上会明显拖慢保存路径。务实做法是分层:核心 checkpoint 全量校验,中间产物只校验大小与条数,或者只对分片做抽样校验。

7. 发现坏块之后:定位、隔离、修复、取证 ​

顺序不能乱,尤其"取证"容易被跳过,导致同类问题重复发生。

  1. 定位:ZFS 用 zpool status -v 拿到文件路径与 vdev;Lustre 先看 lfs df 的 D/R 标记,再落到具体 OST;BeeGFS 用 beegfs-fsck 的输出定位 inode/chunk。
  2. 隔离:把受影响目标置为不再分配新数据(Lustre 的降级标记已经自动做到这一点),并把受影响文件从训练队列里摘出来,避免它继续被读进 GPU。
  3. 修复:优先用冗余(mirror/raidz/EC 重建)与备份恢复;ZFS 的 scrub 会自动修复有冗余的块。不要在没有第二份副本的情况下让工具"尽力修复"——多数修复工具的默认行为是让文件可读,而不是让内容正确。
  4. 取证:保留 zpool status 输出、出错文件清单、时间点、当时的负载与温度/电源事件。静默损坏的根因往往在介质之外(供电、背板、HBA 固件、内存 ECC 事件),没有现场就只能反复踩同一个坑。

8. 运营口径:频率、窗口与监控 ​

  • 频率:按"数据变更量"定,不是按日历定。日增量大、盘龄老的集群,weekly scrub 是下限;只读归档池可以 monthly。ZFS 官方提供的 weekly/monthly systemd timer 就是按这个粒度设计的。
  • 窗口:scrub 是满盘顺序读,一定与训练 IO 抢带宽。可用的手段有限但有效:避开 checkpoint 高峰、用 -S/-E 限定范围做增量、必要时用 -p 暂停并在窗口外续跑(暂停状态跨重启保留)。
  • 监控指标:scrub 完成率与耗时、repaired 字节数、校验错误计数、每次 scrub 后新增的错误文件数。"修复字节持续大于 0"是最该报警的信号——它意味着介质在持续退化,而不是一次性事故。
  • 别把 scrub 当备份:scrub 只能修复有冗余的块;副本坏了、EC 条带里坏了两块、或者有人误删,scrub 都无能为力。scrub 与备份是两件事,不能互相替代。

9. 五个常见误区 ​

  • "RAID 有校验就不会静默损坏":RAID 只在你读它、且它自己算得对的时候起作用;长期不读的坏块它不知道。
  • "跑过 LFSCK 就说明数据没问题":LFSCK 查的是元数据一致性,不校验数据内容。
  • "scrub 越频繁越好":scrub 是满盘读,频率过高会持续蚕食训练带宽,也会加速老旧盘暴露问题——按变更量排期更合理。
  • "校验算法越强越好":强算法有 CPU 与 feature 代价,且改属性只影响新数据;先用 chksum_bench 量一下再决定。
  • "在线 fsck 可以自动修":BeeGFS 官方明确不推荐自动修复;ZFS 的自动修复只在有冗余时成立。修复前先确认冗余与备份都在。

一句话收束:完整性靠的是"分层校验 + 定期主动读 + 修复前先取证",不是靠某一块 RAID 卡或某一个命令。

相关文章 ​

AI-HPC 智算超算专家 · Contact: openaihpc@gmail.com