Skip to content

07. 调度与云原生 ​

章节导航图

本章定位:本章节聚焦 Slurm 与 Kubernetes 在 AI-HPC 场景中的协同。

重点能力 ​

  • 作业调度与资源隔离
  • 容器化训练工作流
  • 多集群协作与弹性扩展

🧭 阅读地图 ​

  • 前置章节:06. 自动化装机——先有统一版本的基础环境,再谈调度
  • 本章定位:第二部 L2 调度章——Slurm 与 Kubernetes 双线:传统 HPC 作业与云原生推理服务
  • 推荐顺序:Slurm 主线(安装→实践→用户指南)→ K8s 主线(GPU 调度→vLLM 生产)
  • 下一章:07. 异构计算——调度的对象不只是 NVIDIA,还有异构加速卡

文章目录 ​

Kubernetes GPU 调度实战:从 Device Plugin 到共享 GPU
以可复现清单逐段拆解 K8s GPU 调度:Device Plugin 工作原理、共享 GPU 方案(MPS/时间片)、GPU 监控与配额、与 Slurm 的协同定位,附工程启示。
阅读文章 →
Rocky Linux 9 HPC 集群部署全流程
基于 Rocky Linux 9.4 的 HPC 集群全栈部署指南,涵盖系统初始化、NFS、MUNGE、MariaDB、Slurm 24.05 及 Prometheus 监控。
阅读文章 →
Slurm 实战:基于 Docker 的分布式训练提交模板
详解如何通过 Slurm 调度系统提交包含 Docker 容器环境的分布式训练任务,附 Megatron-LM 完整作业脚本。
阅读文章 →
Ubuntu 22.04 + Slurm 24.05 集群部署实战
基于 Ubuntu 22.04 的 HPC 集群全流程部署记录,涵盖 Netplan 网络配置、NVIDIA 驱动、Slurm 24.05 源码编译、Cgroup v2 适配及 PyTorch 作业提交测试。
阅读文章 →
Slurm 作业提交与管理指南
面向最终用户的 Slurm 使用手册,涵盖基础提交模板、多机多卡 (Distributed Training) 示例、常用命令及参数详解。
阅读文章 →
Kubernetes 推理服务生产化:vLLM 从 Deployment 到高可用
编排侧落地:GPU 配额、滚动更新、优雅退出、HPA 与监控。
阅读文章 →
K8s AI 调度账:GPU 共享、拓扑感知与弹性伸缩
整卡到碎片的三层抽象、拓扑感知调度与通信放大、推理弹性 vs 训练队列、与 Slurm 定位对比。
阅读文章 →
Kubernetes + RAGFlow 极速部署指南
在 Ubuntu 22.04 虚拟机上一次性成功部署 Kubernetes 集群并运行 RAGFlow 智能检索应用的全流程实战手册。
阅读文章 →
Docker 部署 NVIDIA PyTorch 环境指南
基于 NVIDIA NGC 官方镜像,详解 PyTorch 容器的拉取、启动参数配置、SSH 服务搭建及 VSCode 远程调试全流程。
阅读文章 →

AI-HPC 智算超算专家 · Contact: openaihpc@gmail.com