Skip to content

容量与配额运营:inode 耗尽判定、双水位与增长预测 ​

摘要:存储运维里最容易被误判的故障,是"df -h 还有 30% 空间,用户却写不进去"。根因通常不是空间,而是 inode;而 inode 的供给方式在不同文件系统上完全不同:ext4 在 mkfs 那一刻就锁死了比例,ZFS 随空间动态生成,Lustre 则是 MDT 的 inode 与每个 OST 的双水位共同决定"还能不能分配新对象"。本文把判定、读法、配额口径和预测方法串成一条可执行的链,所有阈值与语义都取自官方文档原文。

1. 先分清两种 ENOSPC ​

write 返回 ENOSPC 只说明"没有可用资源",资源可能是块,也可能是 inode。判别顺序只有两步:

  1. df -h:块是否还有余量(注意要减掉文件系统的预留块);
  2. df -i:inode 是否还有余量。如果 df -h 有余而 df -i 的 IUse% 接近 100%,问题就是 inode 耗尽。

第三步在并行文件系统上才有意义:df 看到的往往是"最小可创建量",而不是"某个具体目标还能不能分配"。Lustre 官方文档对此有明确说明:df -i 与 lfs df -i 显示的是当前时刻还能创建的 inode 最小数量;如果所有 OST 上可用的对象总数(考虑默认条带)小于 MDT 上可用的数量,df -i 会报出比"实际能创建"更小的数字;要看每个 target 的真实余量,必须用 lfs df -i。

2. 三种 inode 供给模型 ​

文件系统inode 从哪来能不能事后改
ext4 / ldiskfsmkfs 时按"字节/inode"比例一次性算出并写入 inode 表比例与 inode 大小创建后不可改;扩容会按比例增加 inode
ZFS(含 Lustre on ZFS)动态生成,数量取决于剩余空间不需要预留,也不存在"inode 表用完了"
Lustre(ldiskfs 后端)MDT 管命名空间 inode,OST 管对象;每个 OST 有空间与 inode 双水位只能靠扩 OST / 加 MDT / 调预留参数

ext4 的关键约束(mke2fs(8) 原文):

  • -i bytes-per-inode:按"每多少字节一个 inode"计算总数,比例越大 inode 越少。原文明确说 "it is not possible to change this ratio on a file system after it is created",所以这个值必须在建文件系统时就按业务形态定下来;
  • -N number-of-inodes:直接指定 inode 数量,覆盖按比例算出的默认值——这是"我知道这盘要装几千万小文件"时的唯一正确入口;
  • 扩容会改变 inode 数:原文是 "resizing a file system changes the number of inodes to maintain this ratio"。也就是说扩盘能缓解 inode 压力,但缓解幅度由创建时那个比例决定;
  • -I inode-size:inode 大小必须是 ≥128 的 2 的幂,创建后不可改;原文还写了一个很多人不知道的后果:128 字节 inode 不支持 2038 年 1 月 19 日之后的时间戳,256 字节及以上才支持扩展时间戳与 project ID。

工程含义:小文件密集型负载(数据集样本、日志、未打包的 checkpoint 分片)如果按"大文件"的比例建了 ext4,后面无论怎么扩盘都救不回 inode 密度——这是建盘阶段唯一不可逆的决定。

ZFS 的读法要修正一个直觉:Lustre 官方文档说明,ZFS 上可创建的 inode 数是动态的、取决于剩余空间;df -i 报出的 Free/Total 只是"基于当前用量的估算",只有 Used 是真实值。所以 ZFS 场景下盯着 IUse% 没有意义,该盯的是空间水位与对象数配额。

3. Lustre 的双水位:为什么 df 还有 5% 却不给新文件 ​

官方文档写得很具体:MDT 为每个 OST 预留 0.1% 的总空间与 32 个 inode;当某 OST 的可用空间低于预留量,或空闲 inode 少于 32 个,MDT 就停止向该 OST 分配新对象;恢复条件是"可用空间达到预留量的两倍,且空闲 inode 超过 64"。还有一条容易被当成 bug 的行为:无论分配状态如何,客户端都可以对已存在的文件继续追加。

这就解释了两个常见现象:

  • lfs df 显示某 OST 还有 5% 空间,新文件却绕开它甚至报错——它已经低于预留水位;
  • 同一个作业里"老文件能接着写、新建文件失败"——追加路径不经过对象分配。

预留空间可以调:官方给的例子是 lctl set_param -P osp.*.reserved_mb_low=1024(把所有 OST 的预留提到 1 GB)。但不要拿它去"腾空间":Lustre 底层 ldiskfs 默认还预留 5% 给 root(对应 mke2fs -m 的默认 5%),官方对这一层的警告是——把预留降到 5% 以下,OST 超过 95% 满时会出现严重性能退化,因为难以找到连续空闲区域,而且即使后来回落到 95% 以下,这种退化可能持续存在,所以官方明确"不建议低于 5%"。

4. lfs df 最后一列的状态码:最直接的早期信号 ​

很多人只看 Use%,忽略了 lfs df 末尾那一列状态字母。官方表格里有两个与容量运营直接相关的:

  • S:OST/MDT is out of Space——可用空间低于最小要求,该 target 不再承接新对象分配,直到空间回升;
  • I:OST/MDT is out of Inodes——空闲 inode 低于最小要求,同样停止新对象分配。

也就是说,容量告警的正确触发点不是"到 90%",而是状态列出现 S 或 I。lfs df -i 才是看 inode 的正确命令(-i 即 --inodes,官方选项表原文),-v 会带上更多 target 状态;-l(lazy)用于避免某个 target 离线时命令整体阻塞。

5. 配额:先分清"限空间"还是"限 inode" ​

配额最容易出的事故是"以为限住了,其实只限了一半"。三种常见文件系统的口径差异:

Lustre:用户与组配额同时管块与 inode。lfs setquota 的块软/硬限(-b/-B)与 inode 软/硬限(-i/-I)是两组独立参数,软限超出后进入 grace 期;查看用 lfs quota -u <user>,grace 剩余时间用 lfs quota -t。只设块配额不设 inode 配额,等于放任小文件把 MDT 打满——这是并行文件系统上最常见的一半配额。

具体 flag 与单位以本机 lfs setquota --help 和官方手册"Configuring and Managing Quotas"(25.3 节)为准,不同版本帮助文本略有差异。

ZFS:quota 与 refquota 的差别不是"大小写",而是统计范围。官方原文:

  • quota:限制 dataset 及其所有子孙可消费的空间,是硬限,"includes all space consumed by descendants, including file systems and snapshots";在已有配额的祖先之下再设配额不会覆盖,而是叠加;
  • refquota:同样是硬限,但"does not include space used by descendants, including file systems and snapshots"。

这条差异直接决定排查结论:用户说"配额 10 TB 却写不进去",如果用的是 quota,先查子 dataset 和快照占了多少(used 属性正是"被配额检查的那个值");如果用的是 refquota,则快照不占配额,写不进去就是本 dataset 自己的数据真的满了。

另外两条与运营节奏相关的官方说明:

  • userquota@:执行可能延迟数秒,原文说用户可能先超出配额、之后系统才察觉并用 EDQUOT 拒绝写入。这意味着配额不是毫秒级刹车,编排侧必须留余量;
  • userobjquota@:限制对象数量,是 ZFS 上对应"inode 配额"的那一半,同样常被漏设。

BeeGFS:beegfs-ctl --setquota 同时有 --sizelimit 与 --inodelimit 两个维度,本仓库的 BeeGFS 部署文 已给出启用与初始化的完整步骤,这里不重复,只强调同一个原则:两个维度都设。

6. 增长预测:两条曲线,别只画一条 ​

容量预测的常见失败是"只预测 TB",结果是空间还够、inode 先爆。可执行的做法是容量与 inode 双曲线,取先到者:

  1. 采样:每天固定时刻(比如业务低峰)采集三项——lfs df -ih(或 df -i)的 IUsed、lfs df -h 的 Used、以及各租户/项目的 lfs quota -u 用量。固定时刻很重要,否则采到的是 checkpoint 峰值而不是日均;
  2. 算日增量:用最近 7 天与 28 天两条窗口分别算日均增量(Δ/天数),两条窗口的差异就是"是突发还是趋势"的判据;
  3. 外推剩余天数:剩余天数 ≈ (可用量 − 安全余量) / 日均增量,容量与 inode 各算一遍,取小的那个作为"预计耗尽日";
  4. 修正峰值:训练作业的 checkpoint 峰值通常是日均的 5~10 倍(本仓库 存储高级特性 里给过带宽 burst 的同源口径),所以安全余量不能按"日均一天"留,至少要覆盖一个完整 checkpoint 周期加一次失败重试;
  5. 决策规则:若 inode 先到而剩余空间充裕 → 扩 OST/MDT 或加 MDT 都救不了 inode 密度,正确动作是改数据形态(打包小文件、合并 checkpoint 分片);若空间先到而 inode 充裕 → 扩 OST 即可。先判断是哪条曲线先到,再决定花钱方向,这是容量运营最重要的一条纪律。

7. 定位是谁吃掉了 inode ​

不要在生产文件系统上跑全盘 find——千万级文件的遍历本身就是一次元数据压力测试。可行的顺序:

  1. 按一级目录采样:du --inodes -s /fs/*/ 2>/dev/null | sort -n | tail -20(GNU coreutils 的 --inodes 统计的是条目数而非字节数),先找到量级最大的几个子树;
  2. 下钻到二级/三级,同样用 du --inodes -s,不要一步到底;
  3. 看时间分布:按 mtime 找"半年没动过但仍占 inode"的目录,这类通常是历史实验产物;
  4. 看形态:单个目录下几十万个小文件(未打包的数据集、逐条写的日志、按 step 拆分的 checkpoint、实验跟踪工具的 run 目录)是最典型的四个来源。

Lustre 上还要额外确认一件事:inode 压力在 MDT 上,而不是在 OST 上。lfs df -ih 输出里 MDT 与 OST 是分行统计的(官方示例格式就是每个 target 一行),MDT 的 IUse% 才是命名空间的真实水位;OST 的 inode 数对应的是对象数,通常更宽裕。

8. 演练与止损 ​

配额和 inode 告警如果从未演练过,第一次触发往往就是事故。

演练(在隔离目录做):

  1. 建一个专用目录并设置较低的用户 inode 软/硬限;
  2. 用脚本灌入小文件直到越过软限,记录:客户端报什么错误(EDQUOT 还是 ENOSPC)、告警多久到达、监控看的是哪个指标;
  3. 继续灌到硬限,确认写入被拒绝且已有文件仍可读;
  4. 清理后确认 grace 与配额状态回正。

止损的动作顺序(顺序错了会放大故障):

  1. 先扩 hard limit(或临时提高水位阈值),把业务从"写失败"拉回"可写",不要在故障中做清理;
  2. 再清理:删除同样消耗元数据操作,满水位时的大规模删除会和前台业务抢 MDS/OST;
  3. 最后核对:lfs quota -u 看用量是否真的下降(Lustre 配额统计有延迟,别删完立刻断言"没生效");
  4. 不要在接近满水位时跑 lfs_migrate 之类会批量改布局的操作。

9. 一页检查表 ​

  • [ ] 建盘前确认业务形态:小文件密集 → 用 mke2fs -N 显式定 inode 数,不靠默认比例
  • [ ] 监控同时采 df -i(本地)与 lfs df -ih(并行)两条曲线
  • [ ] 告警触发点用 lfs df 的 S/I 状态列,而不是单一百分比
  • [ ] Lustre 配额块与 inode 两组都设;ZFS 同时设 quota/refquota 与 userobjquota@
  • [ ] 明确配额统计延迟(ZFS userquota@ 数秒延迟),编排侧留余量
  • [ ] 容量与 inode 双曲线外推,取先到者决定扩容方向
  • [ ] 安全余量覆盖一个完整 checkpoint 周期 + 一次重试
  • [ ] 每季度做一次隔离目录的配额/inode 演练

10. 五个坑 ​

  1. 只看 df -h 判容量:inode 耗尽的典型症状就是"空间还有、写不进去",df -i 是必查项。
  2. 以为扩盘能救 inode:ext4 扩容只是按创建时的比例等比增加 inode,比例定错就永远补不回来。
  3. 在 ZFS 上盯 IUse%:官方明确说 ZFS 的 inode 总数是动态估算,只有 Used 真实;该看空间水位与对象数配额。
  4. 只设块配额:小文件打满 MDT 时块配额毫无作用,Lustre 与 BeeGFS 都必须同时设 inode 配额。
  5. 把 osp.*.reserved_mb_low 当腾空间手段:那是"别把某个 OST 写死"的保护阈值,调低它只会让满盘故障来得更早;ldiskfs 的 5% 预留官方也明确不建议低于。

相关文章 ​

AI-HPC 智算超算专家 · Contact: openaihpc@gmail.com