返回快讯列表
开发者动态

NVIDIA Mission Control 2.5 将自动故障恢复扩展到 Kubernetes

Mission Control 2.5 支持恢复 Run:ai 管理的 Kubernetes AI 任务,任务重启与故障硬件诊断可并行进行,减少等待底层维修带来的停顿。

NVIDIA 于10月26日介绍 Mission Control 2.5,把此前用于 Slurm 高性能计算任务的自动恢复引擎扩展到 Kubernetes。新支持面向 NVIDIA Run:ai 管理的 AI 工作负载,重点处理分布式训练中的 GPU 异常、软件故障和节点退化。

恢复流程由三层组成:Kubernetes 调度器安排任务位置,任务恢复服务结合拓扑与失败历史选择重启或重新调度,硬件恢复服务负责隔离异常节点并诊断。出现硬件故障时,训练任务可以先转移到健康资源,底层硬件检查继续并行,不必等全部维修结束才恢复计算。

系统也区分不同故障类型。短暂软件错误可先重试任务,避免触发不必要的硬件处置;对逐步退化的节点,硬件服务可提前移出调度资源池。NVIDIA 同时给出升级文档和完整发行说明,把训练作业恢复从人工处理推进到结合任务上下文的持续控制流程。

更多快讯