元数据服务(MDS)实战:命名空间瓶颈、DNE 目录分片与恢复窗口
站里已经有 Lustre 部署、客户端 IO 调优、inode 配额、数据完整性四篇,但元数据服务这一层始终只在别处顺带提一句。结果是:用户报"存储卡住了",值班的人先在客户端 df、再怀疑交换机,最后重启 MDS——三个动作全都没打到点上。
这篇把 MDS 当成独立的一层来写:怎么用五个读数把故障钉到位置、元数据速率到底该怎么读、DNE 怎样把目录摊到多个 MDT、以及 MDS 重启前后的恢复窗口到底在等什么。所有命令与阈值都取自 Lustre 手册、官方 man 页与内核侧参数原文;没核到的细节直接不写。
1. 元数据面是独立的一层,不是"存储的一部分"
一次 open 走的路和一次 read 走的路是两条:
open/stat/mkdir/rename先到 MDS 上的 MDT,由它查命名空间、权限、并返回文件 layout;- 拿到 layout 之后,
read/write由客户端直连 OST,不再经过 MDS。
所以两件事同时成立:
- 元数据能力由 MDT 的 ops/s 决定,和数据面带宽一点关系都没有。一个 100 GB/s 的并行文件系统,若 MDT 每秒只能处理几千次
getattr,ls -l一个百万文件目录照样能挂十分钟。 - MDT 是访问所有文件的前提。Lustre 手册在备份章节的原话是:由于访问所有文件都需要 MDT,它的丢失将迫使整站恢复——即使所有 OST 的数据都完好。这也是为什么 MDT 的设备级备份比 OST 的备份更值得做。
MGS(管理服务)与 MDT0 通常合并部署(部署指南里 mkfs.lustre --mgs --mdt --index=0 就是这一形态),MDT0 同时承载文件系统的根目录 /。这一点后面讲 DNE 时很关键。
2. 三层定位法:先决定"在哪一层",再决定"查什么"
元数据故障的症状高度相似——客户端所有涉及路径的操作全 hang——但原因分布在三层,查法完全不同:
| 层 | 典型症状 | 该看的读数 |
|---|---|---|
| 客户端 | 只有某几个节点 hang,其它节点正常;df 也卡 | 客户端 lctl get_param health_check、dmesg 里的 Evicted client |
| 锁(LDLM) | 特定目录/文件卡,其它路径正常 | lctl get_param ldlm.namespaces.*.lock_count 是否只涨不落 |
| 服务端 | 全部客户端同时卡;num_exports 突降或归零 | health_check、lctl dl、lfs check mdts、mdt.*.md_stats |
一条经验:"所有客户端同时卡"几乎总是服务端或网络,而不是客户端。客户端侧的问题通常表现为"部分节点异常",因为它们各自持锁、各自超时。
3. 服务端的三个第一眼读数
不要在挂死的第一分钟去 dmesg 里翻——信息量大且噪声多。先看三个便宜的读数:
# 1) 节点级健康位:每个 Lustre 节点(客户端、OSS、MDS)都有
lctl get_param health_check
# 2) 本节点上的 Lustre 设备树与状态
lctl dl
# 3) 主动向所有 MDT 发 RPC 探测状态(不是读缓存)
lfs check mdtshealth_check 的取值只有几类:健康时返回 healthy;不健康时返回带原因的形式,例如 NOT HEALTHY - LBUG(内核断言)或 NOT HEALTHY - dead import(到某个对端的导入已死)。这两种原因指向完全不同的处置:前者要看内核日志与是否有内核补丁,后者要看 LNet 与对端节点。
lfs check mdts 与 lfs mdts 的区别值得记住:lfs mdts 读的是客户端缓存(数秒到十几秒的旧值),lfs check 会真的发 RPC 去问。排查时用后者,做看板时用前者。
4. 元数据速率怎么读:md_stats 的采样口径
mdt.*.md_stats 是 MDT 上按操作类型累计的计数器,格式是 Lustre 的标准 stats 格式:
snapshot_time 1551297474.287642 secs.usecs
open 1677848510 samples [reqs]
close 1663771686 samples [reqs]
mkdir 893715 samples [reqs]
rename 14078053 samples [reqs]
getattr 92881694 samples [reqs]
setattr 69249178 samples [reqs]
statfs 16118673 samples [reqs]
samedir_rename 14075412 samples [reqs]
crossdir_rename 2641 samples [reqs]读法有三条硬规矩:
- 这是累计值,不是速率。必须两次采样做差:
(N2 - N1) / (T2 - T1)。直接看绝对值只会看到"上个月以来一共处理了多少次 open"。 snapshot_time才决定分母。两次采样的时间差要取各自的snapshot_time,不要用你脚本的墙钟时间——中间可能有采样延迟。samedir_rename与crossdir_rename是单独计的。rename是元数据侧最贵的操作之一(涉及源目录与目标目录两边的锁),所以它被拆成同目录与跨目录两类。跨目录 rename 占比高,通常意味着工作流在频繁搬文件(比如把 checkpoint 从一个目录挪到另一个目录),这类负载会显著放大 MDT 压力。
逐客户端的粒度在 mdt.*MDT*.exports.*@*.stats:exports 子目录按 NID 列出每个客户端连接,各导出统计之和应当与 md_stats 一致。用途很直接——当 md_stats 显示 getattr 疯涨时,用它找出是哪个节点在扫。
如需按作业归因,用 mdt.*.job_stats(jobstats),Lustre 2.16 起还有 lljobstat 工具在服务端本地直接筛出 RPC 最多的作业。有一条容易忽略的默认值:作业静默 600 秒(10 分钟)后统计数据会被丢弃(job_cleanup_interval 默认 600)。所以 jobstats 必须被持续采集,事后去翻基本是空的。
5. 连接数与驱逐:num_exports 是最快的"是否有人掉线"读数
lctl get_param mdt.*.num_exports
lctl get_param obdfilter.*.num_exportsnum_exports 是该 target 上当前客户端连接数(也包括其它 Lustre 服务器节点)。两条判据:
- 突然下降:一批客户端被驱逐了;
- 归零但文件系统仍挂载着:这个 target 很可能已离线或正处于恢复中。
驱逐的三类原因可以直接在服务端内核日志里看到(dmesg | grep -i evict):
| 原因 | 含义 |
|---|---|
CONN_EXPIRED | 客户端在超时窗口内没有发出 ping |
RECONNECT_RACE | 多个重连尝试相互冲突 |
ADMIN_FORCED | 管理员手工驱逐 |
客户端侧的失败由 ping 超时判定,阈值与 obd_timeout 成比例(官方口径是 ping 超时的 1.5 倍)。所以"为什么整批节点同时被判死"这类问题,答案往往在 MDS 侧的网络中断或负载尖峰,而不在客户端。
6. 恢复窗口:MDS 重启后到底在等什么
MDS 重启(或 failover 到备机)之后不会立刻对外服务,而是进入恢复(recovery):客户端重连、把重启前未提交的元数据操作重放上来,服务端据此把内存中的状态与磁盘上的事务对齐。
三个组件决定这个窗口的行为:
| 机制 | 作用 | 相关参数 |
|---|---|---|
| 元数据重放(metadata replay) | 每个元数据操作带事务号,服务端记录 last_committed,客户端重放此后的操作 | 自动 |
| COS(Commit on Share) | 当被修改的对象是共享的(多个客户端持锁)时,MDS 强制提交事务,避免恢复期连锁驱逐 | mdt.*.commit_on_sharing,默认已开启(1) |
| IR(Imperative Recovery) | target 重启后向 MGS 注册,由 MGS 主动通知客户端立刻重连,而不是等客户端 RPC 超时 | mgs.*.ir_factor(默认 5)、mgs.*.live.<fsname>、客户端 mgc.*.ir_state |
窗口长度由两个参数夹住:recovery_time_soft 是初始等待窗口,recovery_time_hard 是绝对上限(默认 900 秒)。这里有一个值得写进值班手册的纪律:不要背 soft 的默认值——不同版本、不同发行版手册给的值并不一致,现场一律读参数:
lctl get_param mdt.*.recovery_time_soft mdt.*.recovery_time_hard观察恢复进度用:
lctl get_param *.*.recovery_status关键字段:status(RECOVERING / COMPLETE / INACTIVE)、connected_clients 与 max_clients、time_remaining。判读方式很简单:time_remaining 在减少而 connected_clients 不涨,说明有客户端一直没回来,不要再等。
还有一条常被忽略的手册提示:在 OST 全部就绪之前,恢复过程会被阻塞。所以"MDT 卡在 RECOVERING 不动"的第一嫌疑对象往往不是 MDS 本身,而是某个还没上线的 OST。
什么时候该放弃恢复
恢复卡死、或明知那些客户端已经不在了,可以强制跳过恢复:
lctl dl # 先拿到设备号
lctl --device <N> abort_recovery # 或用 mount -o abort_recov 挂载代价必须说清楚:abort 会驱逐所有客户端,并丢弃它们尚未提交的操作。这不是"重启一下"的同义词,而是"接受一部分元数据操作丢失"。只在前述两种情况(恢复确实卡死、客户端确实全没了)才用。
7. DNE:一个 MDT 不够之后,目录怎么摊开
单个 MDT 的 ops/s 是有上限的,命名空间容量也有上限。DNE(Distributed Namespace Environment)给出的答案是:让多个 MDT 分担命名空间。落地时有三种形态,代价完全不同:
| 形态 | 做法 | 代价 |
|---|---|---|
| 单 MDT(默认) | 全部目录在 MDT0 | 元数据吞吐与文件数都受单点限制 |
| 每个目录落一个 MDT(remote dir) | 目录 inode 在另一个 MDT,父目录里只留名称项 | 跨 MDT 的路径解析多一跳;跨 MDT 的 rename/link 语义更贵 |
| 单个大目录条带化(striped dir) | 一个目录的名称项按文件名哈希散到多个 MDT | 建目录、readdir 会向多个 MDT 发 RPC |
命令层面,lfs mkdir 是 lfs setdirstripe 的别名,语义按 man 页原文:
# 新建目录,指定落在 MDT index 2 上
lfs mkdir -i 2 /mnt/lustre/new_project
# 新建目录,跨 2 个 MDT 条带化,起始 MDT 为 1,哈希用 all_char
lfs setdirstripe -c 2 -i 1 -H all_char /mnt/lustre/bigdir
# 读回:master MDT index / 跨几个 MDT / 哈希类型
lfs getdirstripe -m -c -H /mnt/lustre/bigdir几条必须记住的语义:
-c是跨几个 MDT(--mdt-count),-i是起始/主 MDT(--mdt-index),-1表示交给客户端自动选。若-c与-i都不给,lfs mkdir默认-c 1 -i -1,把新目录建在相对更空的 MDT 上。-i -1时的选择算法不是纯轮询:客户端会在各 MDT 的空闲空间差在lod.*.mdt_qos_threshold_rr百分比之内时轮询创建,否则按空闲空间与 inode 数量按比例挑。-C(overstripe)是"每个 MDT 上几条",与-c不是一回事;-1表示每个 MDT 一条,-2…-5表示每 MDT 2…5 条,上限 -5。- 哈希函数影响重分布成本:
fnv_1a_64是默认值(分布较均匀);crush是一致性哈希,目录重条带化时搬动的子文件最少;all_char是弱哈希,只适合测试或输入分布本身就均匀的场景。 lfs setdirstripe默认只有 root 能用。允许普通用户建 remote/striped 目录要改mdt.*.enable_remote_dir_gid:默认0(仅 root),设为具体 GID 可限制到某个组,设为-1放开给任意用户/组。
默认继承:root 上预置的那条规则
文件系统的根目录在 MDT0000,并且出厂就带一条默认目录布局:
lfs setdirstripe -D -i -1 -c 1 --max-inherit -1 --max-inherit-rr 3含义是:新目录按空间均衡落到各 MDT(-c 1 -i -1),并在系统均衡时让最上面三层新目录按轮询方式创建(--max-inherit-rr 3)。--max-inherit 控制这条默认布局向下继承多少层,上限 250 层,-1 表示无限继承。
两个反直觉点,Man 页写得很直白:
- 想关掉它,
lfs setdirstripe -d不管用——删了会被自动重建。正确做法是收窄:-D -i -1 -c 1 --max-inherit 1 <mountpoint>限制到一层,或-D -i 0 -c 1 --max-inherit 1 <mountpoint>直接禁掉均衡。 - 官方不建议默认把所有目录跨所有 MDT 条带化。原话的意思是:客户端创建与访问每个目录都要多发 RPC,反而拖慢性能。条带化只该用在那类"父目录下会创建大量子目录"的场景(例如每个进程一个输出目录的作业);常规做法是在顶层目录上用
-c 1 -i -1,把mkdir摊到各 MDT,而不让所有子目录都变成 remote。
条带化的收益边界
-c 对大目录的并行访问有帮助,但对并行目录扫描未必有帮助(这是官方文档明确写出的取舍)。实践中的判断顺序应该是:先看 md_stats 里哪种操作在涨——getattr/statfs 涨说明有人在扫元数据,mkdir/create 涨说明在建文件,rename 涨说明在搬文件——再决定是加 MDT、条带化某个目录,还是改工作流(打包小文件、把目录层级摊平)。
顺带一个操作细节:lfs getdirstripe 在未指定选项时的默认行为是列出该目录下所有子目录的布局信息,只想看当前目录请显式给 -m / -c / -H。要删掉一个 remote 目录的名称项(不动其 inode),用 lfs rm_entry。
8. 一台 MDS 出问题的决策顺序
把上面的读数串成一个可执行顺序,比"出问题先重启"稳得多:
- 看健康位与设备树:
lctl get_param health_check、lctl dl。若返回NOT HEALTHY - LBUG,先别动服务,先抓内核日志与 vmcore 配置。 - 看恢复状态:
lctl get_param *.*.recovery_status。若停在RECOVERING且time_remaining递减、客户端不涨,往下一步。 - 核对 OST 是否全部就绪。恢复会被未上线的 OST 阻塞,这一步经常直接结案。
- 决定是否 abort:只有在"恢复确实卡死"或"客户端确实全没了"时才 abort,并明确记录丢弃了未提交操作。
- 恢复后核对三个读数:
num_exports是否回到基线、md_stats各操作是否恢复增长、lfs df -i的 MDT 水位是否正常(inode 水位看 MDT 而不是 OST)。 - 把这次的时间线记进值班记录:开始恢复时间、
recovery_time_hard值、有多少客户端在窗口内没回来。下一次调recovery_time_soft的依据只能来自这些记录,不然就是拍脑袋。
9. 监控与告警基线
| 指标 | 命令 | 正常 | 告警条件 |
|---|---|---|---|
| 节点健康 | lctl get_param health_check | healthy | 任何非 healthy |
| 恢复状态 | lctl get_param *.*.recovery_status | COMPLETE/INACTIVE | RECOVERING 超过 soft 窗口仍未完成 |
| 客户端连接数 | mdt.*.num_exports | 稳定在基线 | 单次采样跌幅超过阈值,或归零 |
| 元数据速率 | mdt.*.md_stats 两次差值 | 与业务周期匹配 | open/getattr 跳变且持续 |
| 锁数量 | ldlm.namespaces.*.lock_count | 随负载起伏 | 只涨不落(回调或被持锁方卡住) |
| MDT inode | osd-*.*MDT*.filesfree / filestotal | 余量充足 | 接近耗尽(详见配额那篇) |
| MDT 空间 | osd-*.*MDT*.kbytesfree | 余量充足 | 低于阈值 |
| 作业归因 | mdt.*.job_stats | 有数据 | 数据缺失(说明采集间隔大于 600 秒) |
监控实现上有一条容易踩的坑:mdt.*.md_stats 是累计计数器,采集端必须自己保存上一次的值做差值;把累计值直接画成曲线,看到的是"单调上升",永远发现不了速率异常。
10. 六个坑
| 现象 | 根因 | 处置 |
|---|---|---|
| 所有节点同时 hang | 通常不是客户端问题 | 先查 MDS 侧 health_check / num_exports,别在客户端逐个排查 |
MDT 卡在 RECOVERING | OST 未全部就绪,恢复被阻塞 | 先让 OST 上线;不要急着重启 MDS |
| 恢复超时后大批客户端被踢 | recovery_time_hard 到期 | 记录时间线,按记录评估 soft 窗口,不要凭感觉调大 |
| 新建 MDT 后老目录没变快 | 已有目录不会自动迁移 | 新目录用 lfs mkdir -i <index> 指定;已有目录用 lfs migrate -m |
| 普通用户建不了 striped 目录 | mdt.*.enable_remote_dir_gid 默认只放 root | 按需设为组 GID 或 -1 |
| 关不掉根目录的默认目录布局 | -d 删除会被自动重建 | 收窄 --max-inherit,或 -i 0 关均衡 |
一句话总结:MDS 的运维难点不是"它会不会挂",而是挂了之后你能不能在三分钟内说清"卡在哪一层、在等谁、要不要放弃恢复"。五个读数(health_check、lctl dl、recovery_status、num_exports、md_stats)加一套 DNE 的目录布局纪律,就够覆盖绝大多数现场。