容量与配额运营:inode 耗尽判定、双水位与增长预测
摘要:存储运维里最容易被误判的故障,是"
df -h还有 30% 空间,用户却写不进去"。根因通常不是空间,而是 inode;而 inode 的供给方式在不同文件系统上完全不同:ext4 在mkfs那一刻就锁死了比例,ZFS 随空间动态生成,Lustre 则是 MDT 的 inode 与每个 OST 的双水位共同决定"还能不能分配新对象"。本文把判定、读法、配额口径和预测方法串成一条可执行的链,所有阈值与语义都取自官方文档原文。
1. 先分清两种 ENOSPC
write 返回 ENOSPC 只说明"没有可用资源",资源可能是块,也可能是 inode。判别顺序只有两步:
df -h:块是否还有余量(注意要减掉文件系统的预留块);df -i:inode 是否还有余量。如果df -h有余而df -i的IUse%接近 100%,问题就是 inode 耗尽。
第三步在并行文件系统上才有意义:df 看到的往往是"最小可创建量",而不是"某个具体目标还能不能分配"。Lustre 官方文档对此有明确说明:df -i 与 lfs df -i 显示的是当前时刻还能创建的 inode 最小数量;如果所有 OST 上可用的对象总数(考虑默认条带)小于 MDT 上可用的数量,df -i 会报出比"实际能创建"更小的数字;要看每个 target 的真实余量,必须用 lfs df -i。
2. 三种 inode 供给模型
| 文件系统 | inode 从哪来 | 能不能事后改 |
|---|---|---|
| ext4 / ldiskfs | mkfs 时按"字节/inode"比例一次性算出并写入 inode 表 | 比例与 inode 大小创建后不可改;扩容会按比例增加 inode |
| ZFS(含 Lustre on ZFS) | 动态生成,数量取决于剩余空间 | 不需要预留,也不存在"inode 表用完了" |
| Lustre(ldiskfs 后端) | MDT 管命名空间 inode,OST 管对象;每个 OST 有空间与 inode 双水位 | 只能靠扩 OST / 加 MDT / 调预留参数 |
ext4 的关键约束(mke2fs(8) 原文):
-i bytes-per-inode:按"每多少字节一个 inode"计算总数,比例越大 inode 越少。原文明确说 "it is not possible to change this ratio on a file system after it is created",所以这个值必须在建文件系统时就按业务形态定下来;-N number-of-inodes:直接指定 inode 数量,覆盖按比例算出的默认值——这是"我知道这盘要装几千万小文件"时的唯一正确入口;- 扩容会改变 inode 数:原文是 "resizing a file system changes the number of inodes to maintain this ratio"。也就是说扩盘能缓解 inode 压力,但缓解幅度由创建时那个比例决定;
-I inode-size:inode 大小必须是 ≥128 的 2 的幂,创建后不可改;原文还写了一个很多人不知道的后果:128 字节 inode 不支持 2038 年 1 月 19 日之后的时间戳,256 字节及以上才支持扩展时间戳与 project ID。
工程含义:小文件密集型负载(数据集样本、日志、未打包的 checkpoint 分片)如果按"大文件"的比例建了 ext4,后面无论怎么扩盘都救不回 inode 密度——这是建盘阶段唯一不可逆的决定。
ZFS 的读法要修正一个直觉:Lustre 官方文档说明,ZFS 上可创建的 inode 数是动态的、取决于剩余空间;df -i 报出的 Free/Total 只是"基于当前用量的估算",只有 Used 是真实值。所以 ZFS 场景下盯着 IUse% 没有意义,该盯的是空间水位与对象数配额。
3. Lustre 的双水位:为什么 df 还有 5% 却不给新文件
官方文档写得很具体:MDT 为每个 OST 预留 0.1% 的总空间与 32 个 inode;当某 OST 的可用空间低于预留量,或空闲 inode 少于 32 个,MDT 就停止向该 OST 分配新对象;恢复条件是"可用空间达到预留量的两倍,且空闲 inode 超过 64"。还有一条容易被当成 bug 的行为:无论分配状态如何,客户端都可以对已存在的文件继续追加。
这就解释了两个常见现象:
lfs df显示某 OST 还有 5% 空间,新文件却绕开它甚至报错——它已经低于预留水位;- 同一个作业里"老文件能接着写、新建文件失败"——追加路径不经过对象分配。
预留空间可以调:官方给的例子是 lctl set_param -P osp.*.reserved_mb_low=1024(把所有 OST 的预留提到 1 GB)。但不要拿它去"腾空间":Lustre 底层 ldiskfs 默认还预留 5% 给 root(对应 mke2fs -m 的默认 5%),官方对这一层的警告是——把预留降到 5% 以下,OST 超过 95% 满时会出现严重性能退化,因为难以找到连续空闲区域,而且即使后来回落到 95% 以下,这种退化可能持续存在,所以官方明确"不建议低于 5%"。
4. lfs df 最后一列的状态码:最直接的早期信号
很多人只看 Use%,忽略了 lfs df 末尾那一列状态字母。官方表格里有两个与容量运营直接相关的:
S:OST/MDT is out ofSpace——可用空间低于最小要求,该 target 不再承接新对象分配,直到空间回升;I:OST/MDT is out ofInodes——空闲 inode 低于最小要求,同样停止新对象分配。
也就是说,容量告警的正确触发点不是"到 90%",而是状态列出现 S 或 I。lfs df -i 才是看 inode 的正确命令(-i 即 --inodes,官方选项表原文),-v 会带上更多 target 状态;-l(lazy)用于避免某个 target 离线时命令整体阻塞。
5. 配额:先分清"限空间"还是"限 inode"
配额最容易出的事故是"以为限住了,其实只限了一半"。三种常见文件系统的口径差异:
Lustre:用户与组配额同时管块与 inode。lfs setquota 的块软/硬限(-b/-B)与 inode 软/硬限(-i/-I)是两组独立参数,软限超出后进入 grace 期;查看用 lfs quota -u <user>,grace 剩余时间用 lfs quota -t。只设块配额不设 inode 配额,等于放任小文件把 MDT 打满——这是并行文件系统上最常见的一半配额。
具体 flag 与单位以本机
lfs setquota --help和官方手册"Configuring and Managing Quotas"(25.3 节)为准,不同版本帮助文本略有差异。
ZFS:quota 与 refquota 的差别不是"大小写",而是统计范围。官方原文:
quota:限制 dataset 及其所有子孙可消费的空间,是硬限,"includes all space consumed by descendants, including file systems and snapshots";在已有配额的祖先之下再设配额不会覆盖,而是叠加;refquota:同样是硬限,但"does not include space used by descendants, including file systems and snapshots"。
这条差异直接决定排查结论:用户说"配额 10 TB 却写不进去",如果用的是 quota,先查子 dataset 和快照占了多少(used 属性正是"被配额检查的那个值");如果用的是 refquota,则快照不占配额,写不进去就是本 dataset 自己的数据真的满了。
另外两条与运营节奏相关的官方说明:
userquota@:执行可能延迟数秒,原文说用户可能先超出配额、之后系统才察觉并用EDQUOT拒绝写入。这意味着配额不是毫秒级刹车,编排侧必须留余量;userobjquota@:限制对象数量,是 ZFS 上对应"inode 配额"的那一半,同样常被漏设。
BeeGFS:beegfs-ctl --setquota 同时有 --sizelimit 与 --inodelimit 两个维度,本仓库的 BeeGFS 部署文 已给出启用与初始化的完整步骤,这里不重复,只强调同一个原则:两个维度都设。
6. 增长预测:两条曲线,别只画一条
容量预测的常见失败是"只预测 TB",结果是空间还够、inode 先爆。可执行的做法是容量与 inode 双曲线,取先到者:
- 采样:每天固定时刻(比如业务低峰)采集三项——
lfs df -ih(或df -i)的IUsed、lfs df -h的Used、以及各租户/项目的lfs quota -u用量。固定时刻很重要,否则采到的是 checkpoint 峰值而不是日均; - 算日增量:用最近 7 天与 28 天两条窗口分别算日均增量(
Δ/天数),两条窗口的差异就是"是突发还是趋势"的判据; - 外推剩余天数:
剩余天数 ≈ (可用量 − 安全余量) / 日均增量,容量与 inode 各算一遍,取小的那个作为"预计耗尽日"; - 修正峰值:训练作业的 checkpoint 峰值通常是日均的 5~10 倍(本仓库 存储高级特性 里给过带宽 burst 的同源口径),所以安全余量不能按"日均一天"留,至少要覆盖一个完整 checkpoint 周期加一次失败重试;
- 决策规则:若 inode 先到而剩余空间充裕 → 扩 OST/MDT 或加 MDT 都救不了 inode 密度,正确动作是改数据形态(打包小文件、合并 checkpoint 分片);若空间先到而 inode 充裕 → 扩 OST 即可。先判断是哪条曲线先到,再决定花钱方向,这是容量运营最重要的一条纪律。
7. 定位是谁吃掉了 inode
不要在生产文件系统上跑全盘 find——千万级文件的遍历本身就是一次元数据压力测试。可行的顺序:
- 按一级目录采样:
du --inodes -s /fs/*/ 2>/dev/null | sort -n | tail -20(GNU coreutils 的--inodes统计的是条目数而非字节数),先找到量级最大的几个子树; - 下钻到二级/三级,同样用
du --inodes -s,不要一步到底; - 看时间分布:按 mtime 找"半年没动过但仍占 inode"的目录,这类通常是历史实验产物;
- 看形态:单个目录下几十万个小文件(未打包的数据集、逐条写的日志、按 step 拆分的 checkpoint、实验跟踪工具的 run 目录)是最典型的四个来源。
Lustre 上还要额外确认一件事:inode 压力在 MDT 上,而不是在 OST 上。lfs df -ih 输出里 MDT 与 OST 是分行统计的(官方示例格式就是每个 target 一行),MDT 的 IUse% 才是命名空间的真实水位;OST 的 inode 数对应的是对象数,通常更宽裕。
8. 演练与止损
配额和 inode 告警如果从未演练过,第一次触发往往就是事故。
演练(在隔离目录做):
- 建一个专用目录并设置较低的用户 inode 软/硬限;
- 用脚本灌入小文件直到越过软限,记录:客户端报什么错误(
EDQUOT还是ENOSPC)、告警多久到达、监控看的是哪个指标; - 继续灌到硬限,确认写入被拒绝且已有文件仍可读;
- 清理后确认 grace 与配额状态回正。
止损的动作顺序(顺序错了会放大故障):
- 先扩 hard limit(或临时提高水位阈值),把业务从"写失败"拉回"可写",不要在故障中做清理;
- 再清理:删除同样消耗元数据操作,满水位时的大规模删除会和前台业务抢 MDS/OST;
- 最后核对:
lfs quota -u看用量是否真的下降(Lustre 配额统计有延迟,别删完立刻断言"没生效"); - 不要在接近满水位时跑
lfs_migrate之类会批量改布局的操作。
9. 一页检查表
- [ ] 建盘前确认业务形态:小文件密集 → 用
mke2fs -N显式定 inode 数,不靠默认比例 - [ ] 监控同时采
df -i(本地)与lfs df -ih(并行)两条曲线 - [ ] 告警触发点用
lfs df的S/I状态列,而不是单一百分比 - [ ] Lustre 配额块与 inode 两组都设;ZFS 同时设
quota/refquota与userobjquota@ - [ ] 明确配额统计延迟(ZFS
userquota@数秒延迟),编排侧留余量 - [ ] 容量与 inode 双曲线外推,取先到者决定扩容方向
- [ ] 安全余量覆盖一个完整 checkpoint 周期 + 一次重试
- [ ] 每季度做一次隔离目录的配额/inode 演练
10. 五个坑
- 只看
df -h判容量:inode 耗尽的典型症状就是"空间还有、写不进去",df -i是必查项。 - 以为扩盘能救 inode:ext4 扩容只是按创建时的比例等比增加 inode,比例定错就永远补不回来。
- 在 ZFS 上盯
IUse%:官方明确说 ZFS 的 inode 总数是动态估算,只有 Used 真实;该看空间水位与对象数配额。 - 只设块配额:小文件打满 MDT 时块配额毫无作用,Lustre 与 BeeGFS 都必须同时设 inode 配额。
- 把
osp.*.reserved_mb_low当腾空间手段:那是"别把某个 OST 写死"的保护阈值,调低它只会让满盘故障来得更早;ldiskfs 的 5% 预留官方也明确不建议低于。