Skip to content

Slurm 记账与公平共享:slurmdbd、QOS 配额与 fairshare 落地 ​

摘要:集群装好 Slurm 能跑作业,只解决了"能不能用"。多租户场景还要回答三个问题:谁用了多少、谁能用多少、排队是否公平。这三件事都落在同一个子系统上——记账(Accounting)。本文按"数据库与 slurmdbd 布点 → 开关 → 组织树 → 两级配额 → fairshare 权重 → 报表与保留"的顺序讲落地,参数以 Slurm 官方文档为准。

1. 没有记账,三个问题都答不上 ​

Slurm 默认不记账。slurm.conf 里不带 AccountingStorage* 系列参数时,作业跑完就只剩 slurmctld 日志里的一行记录,sacct、sreport、sshare 全部没有数据源;不带 AccountingStorageEnforce 时,即便你在数据库里设了配额,也只是"记着好看",调度器不会拦。

所以多租户集群的记账要成体系地开三层能力:

能力解决的问题依赖
作业账本谁在什么时候用了多少 CPU 秒、GPU 秒、内存AccountingStorageType + 采集插件
配额与准入某个账号/用户最多能同时占用多少资源AccountingStorageEnforce + association/QOS 限额
公平排队用得少的先跑,用得多的靠后PriorityType=priority/multifactor + fairshare

三层可以分步开,但不建议只开第一层——账本记了不用,等于白写数据库。

slurmctld、slurmdbd 与数据库的三层结构,以及必须对齐的四个数值

2. 三层结构:slurmctld → slurmdbd → 数据库 ​

官方给出的结构是控制器把记账记录发给 slurmdbd(Slurm Database Daemon),由它写 MySQL/MariaDB。为什么不省掉这一层直接让 slurmctld 连库?官方文档的理由很直接:直连意味着把数据库账号密码分发到所有需要用 sacct、sreport、sacctmgr 的机器上,而 sreport 这类命令是普通用户也会执行的,库的安全边界就没了。slurmdbd 还顺带做了缓存,降低数据库压力。

几个必须对齐的数值:

参数位置默认/要求
AccountingStoragePortslurm.conf与 slurmdbd 监听端口一致,默认 6819
StoragePortslurmdbd.conf数据库端口,MySQL/MariaDB 通常 3306
StorageLocslurmdbd.conf库名,默认 slurm_acct_db
StorageTypeslurmdbd.conf目前唯一可选值 accounting_storage/mysql
SlurmUser两侧slurmdbd 与 slurmctld 必须同名同 UID;非 root 时该用户要 AdminLevel=Admin

认证走 MUNGE:单集群单机部署沿用系统已有的 MUNGE 即可;跨集群汇聚到同一个 slurmdbd 时,所有集群节点都要装 MUNGE,并且用户名要一致——记账按用户名维护,鉴权按 UID,两者在多集群之间必须对齐。

还有两个运维事实要提前知道:

  • slurmdbd 挂了不等于作业停摆:slurmctld 会启用内部缓存,等 slurmdbd 恢复后再补传;但缓存队列有上限,宕机太久会开始丢记录。
  • 启动顺序有硬约束:slurmctld 第一次启动时必须能连上 slurmdbd,否则拿不到账号与限额的基线数据,直接起不来。所以开机自启顺序、监控告警都要按"先 dbd 后 ctld"设计。

3. 数据库侧:几个会直接搞挂 slurmdbd 的参数 ​

官方给了一组推荐值,其中三条是"设错就出事"级别:

参数建议值不设的后果
innodb_buffer_pool_size内存的 5%–50%,且不低于 4 GiB库变大后 purge、升级极慢
innodb_lock_wait_timeout900 秒长查询被误杀
max_allowed_packet至少 16M开了 AccountingStoreFlags=job_env,job_script 时写入失败
innodb_snapshot_isolationOFF(MariaDB)MariaDB 11.6.2 起默认 ON,行冲突会让 slurmdbd 无法恢复、直接退出

最后一条是近年最常见的"新装 MariaDB 后 slurmdbd 反复重启"的根因,值得单独写进装机检查表。MySQL 8.0.30+ 则用 innodb_redo_log_capacity 替代 innodb_log_file_size,取 buffer pool 的 25%。

4. slurm.conf 的四个开关与 enforce 选项 ​

ini
# slurm.conf(节选)
ClusterName=ai-hpc
AccountingStorageType=accounting_storage/slurmdbd
AccountingStorageHost=dbd-master
AccountingStoragePort=6819
AccountingStorageEnforce=associations,limits,qos
TrackWCKey=yes
PriorityType=priority/multifactor

AccountingStorageEnforce 是逗号分隔的组合,逐项含义:

取值作用隐含开启
associations用户不在库里的 association 就不许跑—
limits强制执行 association 与 QOS 上设的限额associations
qos作业必须解析到一个有效 QOSassociations
safe作业只有在"按剩余额度能跑完"时才启动,避免跑一半被杀associations、limits
wckeys只能用自己的 wckey,并自动 TrackWCKeyassociations
nojobs / nosteps不存作业/步骤明细,只留限额能力互相包含

实践建议:默认把 associations,limits,qos 一起开。只开 limits 时 QOS 的准入校验不生效;只开 qos 时限额又不拦。三件套齐全后,"没账号提交不了、超配额排队、乱用 QOS 被拒"才同时成立。

改完 slurm.conf 不要只 systemctl restart slurmdbd:控制器侧的参数要 scontrol reconfigure(或重启 slurmctld)才生效。

5. 建组织树:cluster → account → user,顺序不能反 ​

官方明确要求先建集群,再建账号,最后建用户。

bash
# 1) 集群入库(20.02 之后 slurmctld 启动会自动补,但 association 仍要手工建)
sacctmgr add cluster ai-hpc

# 2) 账号,支持层级(parent 指向上级账号)
sacctmgr add account root  Description="root"  Organization=lab
sacctmgr add account llm,ai4s parent=root Description="两个课题组" Organization=lab

# 3) 用户,必须指定默认账号
sacctmgr add user zhang DefaultAccount=llm
sacctmgr add user li    Account=ai4s

# 4) 看结果
sacctmgr show assoc format=cluster,account,user,partition,qos%20,grptres%30

账号树不是摆设:Grp* 系列限额按树累计,父账号的 GrpTRES 是它自己和所有子账号的合计;fairshare 也按树分配份额。所以树形要按真实组织结构设计,事后改结构(改名、改父级)会让历史用量仍记在旧 lineage 上——sreport 按新账号过滤时看不到那部分历史,这点在解读报表时容易踩坑。

6. 两级配额:association 与 QOS ​

限额可以挂在三处:association(cluster/account/user/partition 四元组)、QOS、partition。QOS 上的限额优先于 association;partition 只做上限约束。

常用的 association/QOS 限额项:

字段含义
GrpTRES该组同时占用的资源总量,如 cpu=64,gres/gpu=8
GrpTRESMins累计 TRES 分钟额度,触顶后杀掉在跑的作业并拒绝新作业
GrpTRESRunMins在跑作业的 TRES 分钟合计上限(按申请时长预扣)
GrpWall累计墙钟时间上限
GrpJobs / GrpSubmitJobs同时运行/在册作业数
MaxTRESPerUser / MaxTRESPerJob单用户、单作业的资源上限
MaxWallDurationPerJob单作业时长上限
MaxTRESMinsPerJob单作业 TRES 分钟上限

一条常见误解是"在库上设了 GrpTRES 就会拦"。不会——没有 AccountingStorageEnforce=limits,限额只是数据。

限额生效的优先级顺序(官方给出的完整顺序):

  1. Partition QOS
  2. Job QOS
  3. User association
  4. Account association(逐级向上)
  5. Root/Cluster association
  6. Partition 自身的限制
  7. 都没有则不限制

三条例外要记住:Max[Time|Wall] 与 [Min|Max]Nodes 永远不超过 partition 级上限(除非 QOS 带 PartitionTimeLimit / Partition[Max|Min]Nodes 标志);Grp* 类限额取更严格的那个——父账号设得紧,子账号再宽也没用;同一位置多个限额取"列表中第一个出现"的定义,而不是取最小值。

QOS 上还有三个很实用的开关:

  • Flags=DenyOnLimit:作业自身就超限时直接拒绝(默认只是排队等到资源够)。
  • Flags=NoDecay:GrpTRESMins、GrpWall 不随半衰期衰减,等价于"一次性硬额度",适合对外售卖的卡时包。
  • UsageFactor / UsageThreshold:按倍数记账(如 2 表示双倍计费),或低于某 fairshare 阈值就挂起作业。

一个可直接抄的四档 QOS 示例:

bash
sacctmgr add qos debug
sacctmgr modify qos debug set MaxWallDurationPerJob=00:30:00 MaxTRESPerUser=gres/gpu=2 Priority=100

sacctmgr add qos normal
sacctmgr modify qos normal set GrpTRES=cpu=512,gres/gpu=64 MaxWallDurationPerJob=24:00:00

sacctmgr add qos long
sacctmgr modify qos long set MaxWallDurationPerJob=7-00:00:00 GrpTRESMins=cpu=1000000 Priority=-10

sacctmgr add qos urgent
sacctmgr modify qos urgent set Priority=1000 Preempt=long
# 让 urgent 能抢占 long,需要 slurm.conf: PreemptType=preempt/qos

注意 Priority 只在 PriorityWeightQOS > 0 时才进入优先级计算;Preempt 也只在 PreemptType=preempt/qos 时生效。两个都是"配了不生效"的高发点。

7. fairshare:账到底怎么算 ​

fairshare 因子的定义是"已承诺份额"与"已消耗资源"的差,取值 0.0–1.0,越接近 1 越先被调度。三点决定了它在你这套集群里是否可信:

第一,计量单位。 默认按 cpu-seconds 记账,GPU、内存不计。GPU 集群必须配 TRESBillingWeights,否则一块 A100 和一个 CPU 核的账是一样的。官方给的算法是"各 TRES 用量 × 权重后求和",例如某分区 TRESBillingWeights=CPU=1.0,Mem=0.25G,则:

作业申请计费单元
Job11 CPU + 60 GiB1×1.0 + 60×0.25 = 16
Job216 CPU + 1 GiB16×1.0 + 1×0.25 = 16.25
Job316 CPU + 60 GiB16×1.0 + 60×0.25 = 31

另一种口径是取节点内各项的最大值(PriorityFlags=MAX_TRES),适合"申请了整机但只用了一个核"的场景,避免把整机的账都算给一个人。选哪种要想清楚,因为账单口径一旦上线,用户会按它来优化行为。

第二,算法与半衰期。 自 19.05 起默认是 Fair Tree 算法,层级树的兄弟节点按份额排序;只有显式 PriorityFlags=NO_FAIR_TREE 才回到老的 classic 算法。历史用量的衰减由 PriorityDecayHalfLife 控制,默认 7-0(7 天);重算周期 PriorityCalcPeriod 默认 5 分钟;排队时间因子的封顶 PriorityMaxAge 默认也是 7 天。

7 天半衰期意味着"上周狂跑三天"的影响大约两周就淡出。如果你们是季度配额制,应该把半衰期拉长(如 14-0 或更长)并把 PriorityUsageResetPeriod 设成 MONTHLY/QUARTERLY,让额度按周期重置;反过来,如果想让额度"用完就清零",就把 PriorityDecayHalfLife=0 配 PriorityUsageResetPeriod,此时额度是硬上限而非滑动窗口。

第三,权重。 九个因子的默认权重都是 0,也就是说只写 PriorityType=priority/multifactor 而不写权重,优先级仍然只有 FIFO 行为。常见做法是把 fairshare 设成主导项:

ini
PriorityWeightFairshare=10000
PriorityWeightAge=1000
PriorityWeightJobSize=1000
PriorityWeightPartition=1000
PriorityWeightQOS=0

官方特别提醒权重不能太小:因子是 0.0–1.0 的小数,两个作业的 fairshare 可能只差 0.0001,权重设成 10 时这点差异会被取整吃掉。要区分 0.001 级别的差距,权重至少给到 1000 量级。

查账用三条命令:sshare -l(RawUsage / EffectvUsage / FairShare / LevelFS)、sprio -w(各因子权重与分解)、squeue --format="%.18i %.9P %.8j %.8u %.2t %.10M %.6D %Q"(看优先级)。

8. 报表与数据保留 ​

sreport 走的是数据库里的时/日/月汇总表(rollup),查询跨度越长越可能命中月表,所以"上季度各课题用量"这类报表是秒级返回的。常用报表:

bash
# 按账号树汇总各用户用量
sreport cluster AccountUtilizationByUser start=2026-11-01 end=2026-11-30 tree

# 用量 top 用户,按 CPU 时间排序
sreport user topusage start=2026-11-01 end=2026-11-30 TopCount=20

# 集群利用率(Allocated / Idle / Down)
sreport cluster utilization start=2026-11-01 end=2026-11-30

sreport 每次都会向 slurmdbd 发 RPC,官方明确提醒不要在脚本里循环调用,会把 dbd 压到拒绝服务。要做看板就定时拉一次、落库再展示。

数据保留要在上线时就定,别等库涨到几十 G 再补。slurmdbd.conf 的 PurgeJobsAfter 单位语义有坑:

  • PurgeJobsAfter=12months → 每月初清理超过 12 个月的记录;
  • PurgeJobsAfter=365days → 每天清理超过 365 天的记录。

两者保留期相近,但清理节奏差很多:活跃集群用 days 能摊平清理开销。需要长期保留历史账时,用 Archive 功能把清理掉的数据落成 flat file,再导入独立的 archive slurmdbd(用 mysqldump 只导 association/QOS/TRES 三张表以对齐 ID,别导业务数据表)。

9. 落地顺序与验收清单 ​

  1. 装 slurm + slurm-slurmdbd,建库并按第 3 节调 MySQL/MariaDB 参数。
  2. 写 slurmdbd.conf,起 dbd,确认 systemctl status slurmdbd 与 6819 端口监听。
  3. slurm.conf 打开 AccountingStorageType/Host/Port 与 AccountingStorageEnforce=associations,limits,qos,scontrol reconfigure。
  4. sacctmgr 建集群、账号树、用户。
  5. 建 QOS 并挂到 association(sacctmgr modify user xx set qos=debug,normal)。
  6. 打开 PriorityType=priority/multifactor 与权重、TRESBillingWeights。
  7. 验收五项:
验收项期望结果
未建 association 的用户 sbatch被拒,提示不在 association 中
超过 MaxTRESPerUser 提交排队且 squeue 的 Reason 给出限额类编码(如 QOSMaxTRESPerUser)
超过 GrpTRESMins触顶后在跑作业被杀,新作业被拒(提示 QOSGrpTRESMinutesLimit 类原因)
sshare -lLevelFS 随用量变化,长期占用者数值下降
sreport cluster AccountUtilizationByUser能按账号树汇总出用量

10. 常见坑速查 ​

  • 设了限额没设 enforce:限额完全不拦,只影响报表。
  • enforce 带 qos 但用户没默认 QOS:所有提交被拒。先给账号/用户设默认 QOS 再开 qos。
  • 改了 enforce 没 scontrol reconfigure:参数留在内存外。
  • 先起 slurmctld 后起 slurmdbd:首次启动直接失败,表现为控制器反复重启。
  • 从 mysql 插件切到 slurmdbd:cluster 必须先 sacctmgr add cluster 入库,否则切完 ctld 连不上 dbd。
  • GRES 类型限额不生效:MaxTRESPerUser=gres/gpu:tesla=1 对 --gres=gpu:2 这种不带类型的申请不拦。要么用 job_submit lua 强制写类型,要么在 AccountingStorageTRES 里把 gres/gpu 和 gres/gpu:tesla 都记上。
  • MariaDB 新版默认 innodb_snapshot_isolation=ON:slurmdbd 遇到行冲突会退出,装机时必须关掉。
  • fairshare 只配权重不配 TRESBillingWeights:GPU 集群的账按 CPU 秒算,公平性形同虚设。

记账这套东西的价值不在"能出报表",而在把资源分配从"先到先得"变成"可解释、可申诉、可预算"。配额和 fairshare 一旦上线,用户的提交行为会被重塑,所以规则要在上线前想清楚,别边跑边改——每一次改口径,历史数据都会变成两套账。

相关文章 ​

AI-HPC 智算超算专家 · Contact: openaihpc@gmail.com