践行深度用云大模型混合云十大创新技术华为云计算技术有限公司尚海峰尤鹏胡玉海李金锋徐强杨志勇王飞徐俊曹朝王晨徐礼锋许田立王立王宁韩坤马奇徐田袁军红李品新马红伟罗翕麦宇庭唐盛军孙思东党致远黄立王志宇蒋东生赵培森王兴昊刘静赵军曾祖祥王荣仕毛金哲张煜张秦涛吴信威金钊蒋昱鑫王冰朱艺徐航王瑞编制委员会PREPARATIONCOMMITTEE主编单位编委顾问编审组成员参编主要专家责任编辑（排名不分先后）目录DIRECTORYAI-Native存储14-18创新三层架构，数据快存快恢3算子加速24-28融合优化，实现高效算子供应5增强AI网络19-23算网协同，高吞吐无阻塞网络4多样性算力调度05-09全局统筹，提升算力效率1云边协同10-132海量边缘管理，模型边用边学7统一数据编码35-38创新多模数据统一编码，预测最优解安全护栏47-54立体检测，智能拦截精细视觉神经网络39-42对齐细节，精准识别810无感断点续训43-46分钟级感知恢复，保障长稳运行96全链路数据工程29-348大创新工具，构建高质量数据集多样性算力调度全局统筹，提升算力效率06在AI场景中，CPU扮演着指挥统筹与核心控制的角色，GPU/NPU负责核心AI大模型的并行高性能训练与推理计算。考虑到算力的供应多样性与长期可获得性，以x86和ARM为代表的通用算力和以GPU和NPU为代表的AI算力，将长期协同发展与配合使用，因此需要考虑异构算力的统一调度问题：异构算力管理的挑战资源管理：集群管理的资源从通常的CPU+内存，变为CPU+内存+AI算力卡等多种异构硬件管理。除了多种型号的AI算力卡、同型号多代AI算力卡、还有整卡与切分卡的统一管理调度。拓扑感知：大模型分布式训练过程中，AI算力卡之间或AI服务器之间的带宽并不完全一致。因此调度时，必须考虑异构资源的拓扑关系，才能获得最佳的训练效率。分布式训练调度的挑战资源争夺冲突死锁：传统容器调度逻辑都是按照单个容器依次调度。而分布式AI训练容器必须同时运行以进行集合通信，且只能同时调度成功或调度失败。否则，多个分布式作业在资源调度层面出现争抢并导致死锁，所有训练任务都无法得到有效调度。1.1业界难题AI资源碎片问题：单个训练/推理作业所需要的AI算力卡数典型值为1、2、4、8、n*8，大于8卡的作业，需运行在完全空闲的节点上。随着多个任务的异步结束，集群中会出现资源碎片，即便整体上存在足够的资源，需要多卡的作业也无法运行，导致资源利用率降低。推理算力利用率提升的挑战AI算力多团队共享问题：集团内部需要考虑不同部门多个彼此隔离的AI小集群可能导致的整体资源利用率较低的问题，资源池化按需调度是提升资源利用率的有效办法。算力复用：在推理场景，需要实现推理卡的多路任务并行复用，即多个算法共用一张AI卡，以提升算力利用率。华为云多样性算力调度基于云原生集群管理框架，并融入面向AI场景的Volcano调度框架，实现分布式AI任务调度增强。同时还针对算力资源的利用率提升做了系列创新优化，包括：逻辑子池、队列优先级、拓扑感知、整柜亲和、算力切分等。1.2多样性算力调度：全局统筹，提升算力效率多样性算力调度训练&推理任务CPU资源池丰富调度策略高效任务调度模型推理模型训练模型开发模型训推调度策略模块调度控制模块资源调度容器调度图1.1华为云多样性算力调度统一纳管异构算力资源CPUAI任务实例GPUAI任务实例NPUAI任务实例通用服务器节点1CPU通用服务器节点2CPUCPUAI服务器节点4AI服务器节点5NPUNPUNPUNPUGPU资源池AI服务器节点3NPU资源池GPUGPU多样算力资源池化传统的K8s集群管理系统在启动容器时，会将负载调度至合适的节点。但其调度的维度仅支持“CPU+内存”，无法识别和调度“GPU/NPU”这种异构算力资源。07因此华为云引入了K8s的Device-plugin调度插件框架，并开发了AI异构算力插件，实时获取和上报各异构资源池中AI算力的状态，辅助完成异构算力的混合调度。如常见的推理任务会包含LB负载均衡（通用算力调度）、AI推理多实例（AI算力调度），两者共同配合完成。分布式AI训练的组调度在分布式AI训练中，需要通过容器组调度算法，来避免多个分布式任务因争抢资源而导致任务死锁。华为云设计了Volcano调度框架，实现了组调度功能并做了更多能力增强...