Skip to content

Lustre 客户端调优:条带布局、LNet 多网卡与 IO 参数 ​

摘要:Lustre 装完、mount -t lustre 挂上,不代表客户端能吃到集群带宽。默认布局是「一个文件一条带」,单流只能压一个 OST;默认 LNet 只用第一张网卡;客户端缓存与 RPC 并发参数全是编译默认值。本文只讲客户端侧三件事:条带怎么设、网络怎么配、参数怎么调,并把每一步的验证命令给出。

1. 三个典型症状,对应三个不同的层 ​

症状大概率在哪一层先看什么
单进程写大文件只有单盘速度(比如 1–2 GB/s),多进程各写各的反而快条带布局lfs getstripe <file> 看 stripe_count
整机带宽上不去,sar -n DEV 只有一张网卡有流量LNet 网络lnetctl net show、ip -br a
大目录 ls/stat 慢,但读写带宽正常元数据侧(statahead、目录布局)lfs getdirstripe、strace -c stat
带宽正常但延迟抖动、小 IO 吞吐低客户端 IO 参数osc.*.max_rpcs_in_flight、max_dirty_mb

顺序很重要:先确认条带,再看网络,最后才动参数。参数只能在既定布局和网络下挤出百分比,改不了数量级。

2. 条带三参数与官方默认值 ​

Lustre 的文件是 RAID0:数据按 stripe_size 切成块,轮流写到 stripe_count 个对象上,对象分布在不同 OST。三个参数与默认值(官方手册 Table 10.1):

参数默认含义
stripe_count1一个文件用几个 OST 的对象
stripe_size1 MB写满多少数据切到下一个对象
start_ost-1起始 OST 索引,-1 表示由 MDT 按空间与负载挑;官方明确建议不要改

默认 stripe_count=1 是 Lustre 最容易被忽略的性能事实:单流带宽上限 = 单个 OST 的带宽。一块 NVMe OST 假设能出 2 GB/s,那么一个进程写一个默认布局的文件就是 2 GB/s,跟集群有 100 个 OST 没关系。

改布局用 lfs setstripe:

bash
# 新建文件时指定 8 条带、4 MB 条带大小
lfs setstripe -c 8 -S 4M /lustre/big.bin

# -1 表示用全部 OST("unlimited",实际受 lod.max_stripecount 与 OST 数量约束)
lfs setstripe -c -1 /lustre/wide.bin

# 只改目录,目录下新建的文件继承该布局(这是最省事的团队级做法)
lfs setstripe -c 4 -S 2M /lustre/projects/llm/outputs

-S 0 表示回落到默认 1 MB。lfs getstripe 是唯一可信的验收手段,ls -l 看不出布局。

3. 布局怎么选:先问「一个文件被几个进程写」 ​

这是选型的第一性问题,比"条带数越大越好"重要得多。

写入模式建议布局理由
单进程顺序写一个大文件(checkpoint、模型权重)-c 尽量大(4/8/全 OST),-S 1–4 MB单流要靠多条带聚合带宽
N 个进程各写各的文件(MPI rank 各自落盘)保持 -c 1每个文件本来就是一个流,条带多了只是把元数据和小 IO 摊碎
多进程共享写同一个大文件(并行 IO 库)-c ≥ 进程数,-S 与每个进程单次 IO 对齐让每个进程的写落到不同 OST,避免热点
海量小文件(数据集、日志)-c 1,重点转向目录与元数据条带对小文件无收益,反而增加锁与对象数

两个容易搞反的点:

  • 小文件设大条带是负优化。文件只有 200 KB,-c 8 依然会在 8 个 OST 上各建一个对象,实际只写了几十 KB,元数据开销翻倍。
  • 条带数不是越大越好。条带数超过并发流数后,多出来的对象只是在增加锁竞争与失败面;官方手册也专门提到"不是所有场景都应该铺满全部 OST"。

4. 四条硬上限与一个隐藏开关 ​

限制数值触发后的表现
单文件最多对象数2000超出部分无法再扩展
单对象最大尺寸(ldiskfs)16 TiB单 OST 写满后该对象停止增长
单文件最大尺寸ldiskfs 31.25 PiB / ZFS 8 EiB受对象数与对象尺寸共同约束
无 ea_inode 的 ldiskfs,单文件条带数160 OST-c -1 实际被截断到 160

隐藏开关是 lod.*.max_stripecount:当用户写 -c -1 但集群 OST 很多(比如 200 个),管理员可以用它把实际条带数封顶,避免一个文件铺满全集群把热点摊到所有 OSS:

bash
# 在 MGS 上永久设置,作用于该文件系统所有 MDT
lctl set_param -P lod.$FSNAME-MDT0000-mdtlov.max_stripecount=32
lctl get_param lod.$FSNAME-MDT0000-mdtlov.max_stripecount

还有一个跟"空间不够"直接相关的服务端行为,客户端表现为"某几个 OST 不再分配对象":MDT 对每个 OST 预留 0.1% 空间与 32 个 inode,低于该水位就停止向它分配新对象,直到可用空间达到预留量的 2 倍且空闲 inode 超过 64 才恢复。所以 lfs df 里显示"还剩 5%"的 OST 其实可能已经停止接新对象了。

5. 目录默认布局与 PFL:让用户不必懂条带 ​

逐个文件叮嘱用户设条带不现实。两种不用培训用户的做法:

目录默认布局:直接在目录上 lfs setstripe,新建文件继承;已有文件不受影响(要改存量用 lfs migrate)。

渐进布局(PFL):一个文件内部按偏移分成多段,前段小条带、后段大条带,官方给的典型写法是首段放 MDT(DoM)、后续段铺满 OST:

bash
lfs setstripe -E 1M -L mdt -E -1 -S 4M -c -1 /lustre/models/ckpt

含义是:前 1 MB 存在 MDT 上(小文件/头部读得快),1 MB 之后按 4 MB 条带铺到全部 OST。这是官方文档里最实用的一个组合,适合"大小不确定"的输出文件。

DoM 有三条限制要知道:单个 DoM 组件最大 1 GB(lfs setstripe 编译期上限),且必须按 64 KB 对齐;服务端 lod.*MDT*.dom_stripesize 默认 1 MB,超过会被静默截断;把它设为 0 就在该 MDT 上禁用了 DoM。

6. LNet:多网卡不是插上就并行 ​

Lustre 的网络标识是 NID,格式 地址@LNet名,例如 10.13.24.90@o2ib1。默认行为是只用发现的第一张网卡——这就是"双口 IB 只跑满一口"的根因。

配置写在 /etc/modprobe.d/lustre.conf(旧的写法)或直接用 lnetctl:

bash
# 声明两张网卡分别属于 o2ib0 / o2ib1
options lnet networks="o2ib0(ib0),o2ib1(ib1)"

# 或者运行时加
lnetctl net add --net o2ib1 --if ib1
lnetctl net add --net o2ib0 --if ib0 --peer_timeout 180 --peer_credits 8
lnetctl net show -v

几个必须理解的概念:

  • peer_credits / credits 决定在途消息数。默认 credits=256、peer_credits=8,高带宽网络下 peer_credits 偏小会限制单对端吞吐,可按网卡能力提高,但要与对端内存一起算,别只加一端。
  • max_intf 默认 200,限制单节点可发现的接口数量。
  • LNet 路由不是 IP 路由。跨 LNet 需要显式配 routes 与 gateway,配了 ip route 不代表 Lustre 会走。
  • 服务端/客户端都要装 MUNGE,lnet 模块的配置在客户端也要一致,否则 ping 不通。

验收方式很朴素:跑一个多流作业,sar -n DEV 1 看两张网卡是否都接近线速;再用 lnetctl net show -v 确认两个 net 都在 up。

7. 客户端 IO 参数:方向比数值重要 ​

客户端侧的参数分两组,都与"单流能不能压满链路"有关:

参数组作用调大的代价
osc.*.max_dirty_mb每个 OST 上允许多少脏页缓存,决定写突发能力内存占用与故障时的丢数据窗口
osc.*.max_rpcs_in_flight每个 OST 允许的并发 RPC 数服务端压力、客户端内存
osc.*.max_pages_per_rpc单个 RPC 的最大页数(即单次传输大小)大 RPC 对小 IO 不友好
llite.*.max_read_ahead_mb 等预读窗口顺序读友好,随机读纯浪费
ldlm.namespaces.*.lru_size客户端锁/缓存 inode 的数量元数据缓存命中率与内存

这些值的编译默认值随版本与补丁差异很大,不要凭记忆填数,先读本机实际值:

bash
lctl get_param osc.*.max_dirty_mb
lctl get_param osc.*.max_rpcs_in_flight
lctl get_param llite.*.max_read_ahead_mb
lctl get_param ldlm.namespaces.*-MDT*.lru_size

改法有两种,别搞混:

bash
# 临时:只在当前节点、当前挂载生效,重启/重挂即失效
lctl set_param osc.*.max_dirty_mb=512

# 永久:必须在该文件系统的 MGS 上执行,由 upcall 下发到所有节点
lctl set_param -P osc.$FSNAME-OST*.max_dirty_mb=512
lctl set_param -P llite.$FSNAME-*.max_read_ahead_mb=32

# 核对永久参数表,删除用 -P -d
lctl --device MGS llog_print params

实践顺序建议:先在一台客户端用 set_param 试,量到收益,再在 MGS 上 -P 固化。永久参数一旦下发就是全集群生效,回滚要走 -P -d,比临时参数麻烦得多。

8. 验收四项 ​

验收项做法通过标准
布局生效lfs getstripe <file>stripe_count/stripe_size 与预期一致
单流带宽随条带扩展单进程 dd 写 -c 1 与 -c 8 两个文件对比8 条带明显高于 1 条带(不是等分,而是接近 N 倍直到网络封顶)
双网卡分摊跑并行作业时 sar -n DEV 1两张网卡 RX/TX 都接近线速
元数据不再拖后腿time ls 大目录、strace -c stat 抽样单次 stat 不再产生额外 OST RPC(LSoM/DoM 生效时)

9. 六个坑 ​

  • 只给目录设布局,忘了存量文件:目录布局只影响新建文件,存量要 lfs migrate -c N 迁移。
  • -c -1 以为真的铺满:会被 lod.max_stripecount 与"无 ea_inode 时 160 OST"两条同时截断。
  • 小文件也铺满条带:对象数是元数据负担,不是带宽。
  • 多进程各写各文件却设大条带:热点没消,反而把每个 rank 的 IO 摊到多个 OST 造成随机化。
  • 只在一台客户端 set_param 就以为全局生效:临时参数不跨节点、不跨重挂;要永久必须上 MGS。
  • 配了 IP 路由就以为 LNet 会走:跨 LNet 必须显式 routes + gateway,用 lnetctl route list 核对。

一句话收束:Lustre 客户端的性能上限由布局决定,能不能吃满由网络决定,参数只是在既定上限里做 5%–20% 的微调。顺序弄反,调参数会调到怀疑人生。

相关文章 ​

AI-HPC 智算超算专家 · Contact: openaihpc@gmail.com