Slurm 记账与公平共享:slurmdbd、QOS 配额与 fairshare 落地
摘要:集群装好 Slurm 能跑作业,只解决了"能不能用"。多租户场景还要回答三个问题:谁用了多少、谁能用多少、排队是否公平。这三件事都落在同一个子系统上——记账(Accounting)。本文按"数据库与 slurmdbd 布点 → 开关 → 组织树 → 两级配额 → fairshare 权重 → 报表与保留"的顺序讲落地,参数以 Slurm 官方文档为准。
1. 没有记账,三个问题都答不上
Slurm 默认不记账。slurm.conf 里不带 AccountingStorage* 系列参数时,作业跑完就只剩 slurmctld 日志里的一行记录,sacct、sreport、sshare 全部没有数据源;不带 AccountingStorageEnforce 时,即便你在数据库里设了配额,也只是"记着好看",调度器不会拦。
所以多租户集群的记账要成体系地开三层能力:
| 能力 | 解决的问题 | 依赖 |
|---|---|---|
| 作业账本 | 谁在什么时候用了多少 CPU 秒、GPU 秒、内存 | AccountingStorageType + 采集插件 |
| 配额与准入 | 某个账号/用户最多能同时占用多少资源 | AccountingStorageEnforce + association/QOS 限额 |
| 公平排队 | 用得少的先跑,用得多的靠后 | PriorityType=priority/multifactor + fairshare |
三层可以分步开,但不建议只开第一层——账本记了不用,等于白写数据库。
2. 三层结构:slurmctld → slurmdbd → 数据库
官方给出的结构是控制器把记账记录发给 slurmdbd(Slurm Database Daemon),由它写 MySQL/MariaDB。为什么不省掉这一层直接让 slurmctld 连库?官方文档的理由很直接:直连意味着把数据库账号密码分发到所有需要用 sacct、sreport、sacctmgr 的机器上,而 sreport 这类命令是普通用户也会执行的,库的安全边界就没了。slurmdbd 还顺带做了缓存,降低数据库压力。
几个必须对齐的数值:
| 参数 | 位置 | 默认/要求 |
|---|---|---|
AccountingStoragePort | slurm.conf | 与 slurmdbd 监听端口一致,默认 6819 |
StoragePort | slurmdbd.conf | 数据库端口,MySQL/MariaDB 通常 3306 |
StorageLoc | slurmdbd.conf | 库名,默认 slurm_acct_db |
StorageType | slurmdbd.conf | 目前唯一可选值 accounting_storage/mysql |
SlurmUser | 两侧 | slurmdbd 与 slurmctld 必须同名同 UID;非 root 时该用户要 AdminLevel=Admin |
认证走 MUNGE:单集群单机部署沿用系统已有的 MUNGE 即可;跨集群汇聚到同一个 slurmdbd 时,所有集群节点都要装 MUNGE,并且用户名要一致——记账按用户名维护,鉴权按 UID,两者在多集群之间必须对齐。
还有两个运维事实要提前知道:
- slurmdbd 挂了不等于作业停摆:
slurmctld会启用内部缓存,等 slurmdbd 恢复后再补传;但缓存队列有上限,宕机太久会开始丢记录。 - 启动顺序有硬约束:
slurmctld第一次启动时必须能连上 slurmdbd,否则拿不到账号与限额的基线数据,直接起不来。所以开机自启顺序、监控告警都要按"先 dbd 后 ctld"设计。
3. 数据库侧:几个会直接搞挂 slurmdbd 的参数
官方给了一组推荐值,其中三条是"设错就出事"级别:
| 参数 | 建议值 | 不设的后果 |
|---|---|---|
innodb_buffer_pool_size | 内存的 5%–50%,且不低于 4 GiB | 库变大后 purge、升级极慢 |
innodb_lock_wait_timeout | 900 秒 | 长查询被误杀 |
max_allowed_packet | 至少 16M | 开了 AccountingStoreFlags=job_env,job_script 时写入失败 |
innodb_snapshot_isolation | OFF(MariaDB) | MariaDB 11.6.2 起默认 ON,行冲突会让 slurmdbd 无法恢复、直接退出 |
最后一条是近年最常见的"新装 MariaDB 后 slurmdbd 反复重启"的根因,值得单独写进装机检查表。MySQL 8.0.30+ 则用 innodb_redo_log_capacity 替代 innodb_log_file_size,取 buffer pool 的 25%。
4. slurm.conf 的四个开关与 enforce 选项
# slurm.conf(节选)
ClusterName=ai-hpc
AccountingStorageType=accounting_storage/slurmdbd
AccountingStorageHost=dbd-master
AccountingStoragePort=6819
AccountingStorageEnforce=associations,limits,qos
TrackWCKey=yes
PriorityType=priority/multifactorAccountingStorageEnforce 是逗号分隔的组合,逐项含义:
| 取值 | 作用 | 隐含开启 |
|---|---|---|
associations | 用户不在库里的 association 就不许跑 | — |
limits | 强制执行 association 与 QOS 上设的限额 | associations |
qos | 作业必须解析到一个有效 QOS | associations |
safe | 作业只有在"按剩余额度能跑完"时才启动,避免跑一半被杀 | associations、limits |
wckeys | 只能用自己的 wckey,并自动 TrackWCKey | associations |
nojobs / nosteps | 不存作业/步骤明细,只留限额能力 | 互相包含 |
实践建议:默认把 associations,limits,qos 一起开。只开 limits 时 QOS 的准入校验不生效;只开 qos 时限额又不拦。三件套齐全后,"没账号提交不了、超配额排队、乱用 QOS 被拒"才同时成立。
改完 slurm.conf 不要只 systemctl restart slurmdbd:控制器侧的参数要 scontrol reconfigure(或重启 slurmctld)才生效。
5. 建组织树:cluster → account → user,顺序不能反
官方明确要求先建集群,再建账号,最后建用户。
# 1) 集群入库(20.02 之后 slurmctld 启动会自动补,但 association 仍要手工建)
sacctmgr add cluster ai-hpc
# 2) 账号,支持层级(parent 指向上级账号)
sacctmgr add account root Description="root" Organization=lab
sacctmgr add account llm,ai4s parent=root Description="两个课题组" Organization=lab
# 3) 用户,必须指定默认账号
sacctmgr add user zhang DefaultAccount=llm
sacctmgr add user li Account=ai4s
# 4) 看结果
sacctmgr show assoc format=cluster,account,user,partition,qos%20,grptres%30账号树不是摆设:Grp* 系列限额按树累计,父账号的 GrpTRES 是它自己和所有子账号的合计;fairshare 也按树分配份额。所以树形要按真实组织结构设计,事后改结构(改名、改父级)会让历史用量仍记在旧 lineage 上——sreport 按新账号过滤时看不到那部分历史,这点在解读报表时容易踩坑。
6. 两级配额:association 与 QOS
限额可以挂在三处:association(cluster/account/user/partition 四元组)、QOS、partition。QOS 上的限额优先于 association;partition 只做上限约束。
常用的 association/QOS 限额项:
| 字段 | 含义 |
|---|---|
GrpTRES | 该组同时占用的资源总量,如 cpu=64,gres/gpu=8 |
GrpTRESMins | 累计 TRES 分钟额度,触顶后杀掉在跑的作业并拒绝新作业 |
GrpTRESRunMins | 在跑作业的 TRES 分钟合计上限(按申请时长预扣) |
GrpWall | 累计墙钟时间上限 |
GrpJobs / GrpSubmitJobs | 同时运行/在册作业数 |
MaxTRESPerUser / MaxTRESPerJob | 单用户、单作业的资源上限 |
MaxWallDurationPerJob | 单作业时长上限 |
MaxTRESMinsPerJob | 单作业 TRES 分钟上限 |
一条常见误解是"在库上设了 GrpTRES 就会拦"。不会——没有 AccountingStorageEnforce=limits,限额只是数据。
限额生效的优先级顺序(官方给出的完整顺序):
- Partition QOS
- Job QOS
- User association
- Account association(逐级向上)
- Root/Cluster association
- Partition 自身的限制
- 都没有则不限制
三条例外要记住:Max[Time|Wall] 与 [Min|Max]Nodes 永远不超过 partition 级上限(除非 QOS 带 PartitionTimeLimit / Partition[Max|Min]Nodes 标志);Grp* 类限额取更严格的那个——父账号设得紧,子账号再宽也没用;同一位置多个限额取"列表中第一个出现"的定义,而不是取最小值。
QOS 上还有三个很实用的开关:
Flags=DenyOnLimit:作业自身就超限时直接拒绝(默认只是排队等到资源够)。Flags=NoDecay:GrpTRESMins、GrpWall不随半衰期衰减,等价于"一次性硬额度",适合对外售卖的卡时包。UsageFactor/UsageThreshold:按倍数记账(如 2 表示双倍计费),或低于某 fairshare 阈值就挂起作业。
一个可直接抄的四档 QOS 示例:
sacctmgr add qos debug
sacctmgr modify qos debug set MaxWallDurationPerJob=00:30:00 MaxTRESPerUser=gres/gpu=2 Priority=100
sacctmgr add qos normal
sacctmgr modify qos normal set GrpTRES=cpu=512,gres/gpu=64 MaxWallDurationPerJob=24:00:00
sacctmgr add qos long
sacctmgr modify qos long set MaxWallDurationPerJob=7-00:00:00 GrpTRESMins=cpu=1000000 Priority=-10
sacctmgr add qos urgent
sacctmgr modify qos urgent set Priority=1000 Preempt=long
# 让 urgent 能抢占 long,需要 slurm.conf: PreemptType=preempt/qos注意 Priority 只在 PriorityWeightQOS > 0 时才进入优先级计算;Preempt 也只在 PreemptType=preempt/qos 时生效。两个都是"配了不生效"的高发点。
7. fairshare:账到底怎么算
fairshare 因子的定义是"已承诺份额"与"已消耗资源"的差,取值 0.0–1.0,越接近 1 越先被调度。三点决定了它在你这套集群里是否可信:
第一,计量单位。 默认按 cpu-seconds 记账,GPU、内存不计。GPU 集群必须配 TRESBillingWeights,否则一块 A100 和一个 CPU 核的账是一样的。官方给的算法是"各 TRES 用量 × 权重后求和",例如某分区 TRESBillingWeights=CPU=1.0,Mem=0.25G,则:
| 作业 | 申请 | 计费单元 |
|---|---|---|
| Job1 | 1 CPU + 60 GiB | 1×1.0 + 60×0.25 = 16 |
| Job2 | 16 CPU + 1 GiB | 16×1.0 + 1×0.25 = 16.25 |
| Job3 | 16 CPU + 60 GiB | 16×1.0 + 60×0.25 = 31 |
另一种口径是取节点内各项的最大值(PriorityFlags=MAX_TRES),适合"申请了整机但只用了一个核"的场景,避免把整机的账都算给一个人。选哪种要想清楚,因为账单口径一旦上线,用户会按它来优化行为。
第二,算法与半衰期。 自 19.05 起默认是 Fair Tree 算法,层级树的兄弟节点按份额排序;只有显式 PriorityFlags=NO_FAIR_TREE 才回到老的 classic 算法。历史用量的衰减由 PriorityDecayHalfLife 控制,默认 7-0(7 天);重算周期 PriorityCalcPeriod 默认 5 分钟;排队时间因子的封顶 PriorityMaxAge 默认也是 7 天。
7 天半衰期意味着"上周狂跑三天"的影响大约两周就淡出。如果你们是季度配额制,应该把半衰期拉长(如 14-0 或更长)并把 PriorityUsageResetPeriod 设成 MONTHLY/QUARTERLY,让额度按周期重置;反过来,如果想让额度"用完就清零",就把 PriorityDecayHalfLife=0 配 PriorityUsageResetPeriod,此时额度是硬上限而非滑动窗口。
第三,权重。 九个因子的默认权重都是 0,也就是说只写 PriorityType=priority/multifactor 而不写权重,优先级仍然只有 FIFO 行为。常见做法是把 fairshare 设成主导项:
PriorityWeightFairshare=10000
PriorityWeightAge=1000
PriorityWeightJobSize=1000
PriorityWeightPartition=1000
PriorityWeightQOS=0官方特别提醒权重不能太小:因子是 0.0–1.0 的小数,两个作业的 fairshare 可能只差 0.0001,权重设成 10 时这点差异会被取整吃掉。要区分 0.001 级别的差距,权重至少给到 1000 量级。
查账用三条命令:sshare -l(RawUsage / EffectvUsage / FairShare / LevelFS)、sprio -w(各因子权重与分解)、squeue --format="%.18i %.9P %.8j %.8u %.2t %.10M %.6D %Q"(看优先级)。
8. 报表与数据保留
sreport 走的是数据库里的时/日/月汇总表(rollup),查询跨度越长越可能命中月表,所以"上季度各课题用量"这类报表是秒级返回的。常用报表:
# 按账号树汇总各用户用量
sreport cluster AccountUtilizationByUser start=2026-11-01 end=2026-11-30 tree
# 用量 top 用户,按 CPU 时间排序
sreport user topusage start=2026-11-01 end=2026-11-30 TopCount=20
# 集群利用率(Allocated / Idle / Down)
sreport cluster utilization start=2026-11-01 end=2026-11-30sreport 每次都会向 slurmdbd 发 RPC,官方明确提醒不要在脚本里循环调用,会把 dbd 压到拒绝服务。要做看板就定时拉一次、落库再展示。
数据保留要在上线时就定,别等库涨到几十 G 再补。slurmdbd.conf 的 PurgeJobsAfter 单位语义有坑:
PurgeJobsAfter=12months→ 每月初清理超过 12 个月的记录;PurgeJobsAfter=365days→ 每天清理超过 365 天的记录。
两者保留期相近,但清理节奏差很多:活跃集群用 days 能摊平清理开销。需要长期保留历史账时,用 Archive 功能把清理掉的数据落成 flat file,再导入独立的 archive slurmdbd(用 mysqldump 只导 association/QOS/TRES 三张表以对齐 ID,别导业务数据表)。
9. 落地顺序与验收清单
- 装
slurm+slurm-slurmdbd,建库并按第 3 节调 MySQL/MariaDB 参数。 - 写
slurmdbd.conf,起 dbd,确认systemctl status slurmdbd与 6819 端口监听。 slurm.conf打开AccountingStorageType/Host/Port与AccountingStorageEnforce=associations,limits,qos,scontrol reconfigure。sacctmgr建集群、账号树、用户。- 建 QOS 并挂到 association(
sacctmgr modify user xx set qos=debug,normal)。 - 打开
PriorityType=priority/multifactor与权重、TRESBillingWeights。 - 验收五项:
| 验收项 | 期望结果 |
|---|---|
未建 association 的用户 sbatch | 被拒,提示不在 association 中 |
超过 MaxTRESPerUser 提交 | 排队且 squeue 的 Reason 给出限额类编码(如 QOSMaxTRESPerUser) |
超过 GrpTRESMins | 触顶后在跑作业被杀,新作业被拒(提示 QOSGrpTRESMinutesLimit 类原因) |
sshare -l | LevelFS 随用量变化,长期占用者数值下降 |
sreport cluster AccountUtilizationByUser | 能按账号树汇总出用量 |
10. 常见坑速查
- 设了限额没设 enforce:限额完全不拦,只影响报表。
- enforce 带
qos但用户没默认 QOS:所有提交被拒。先给账号/用户设默认 QOS 再开qos。 - 改了 enforce 没
scontrol reconfigure:参数留在内存外。 - 先起
slurmctld后起slurmdbd:首次启动直接失败,表现为控制器反复重启。 - 从 mysql 插件切到 slurmdbd:cluster 必须先
sacctmgr add cluster入库,否则切完 ctld 连不上 dbd。 - GRES 类型限额不生效:
MaxTRESPerUser=gres/gpu:tesla=1对--gres=gpu:2这种不带类型的申请不拦。要么用 job_submit lua 强制写类型,要么在AccountingStorageTRES里把gres/gpu和gres/gpu:tesla都记上。 - MariaDB 新版默认
innodb_snapshot_isolation=ON:slurmdbd 遇到行冲突会退出,装机时必须关掉。 - fairshare 只配权重不配
TRESBillingWeights:GPU 集群的账按 CPU 秒算,公平性形同虚设。
记账这套东西的价值不在"能出报表",而在把资源分配从"先到先得"变成"可解释、可申诉、可预算"。配额和 fairshare 一旦上线,用户的提交行为会被重塑,所以规则要在上线前想清楚,别边跑边改——每一次改口径,历史数据都会变成两套账。