兰州兼职做网站,网站备案查询到什么资料,忘记wordpress后台密码,软件开发中以下模型哪些不是采用阿里云引领智算集群网络架构的新一轮变革
云布道师
11 月 8 日~ 10 日在江苏张家港召开的 CCF ChinaNet#xff08;即中国网络大会#xff09;上#xff0c;众多院士、教授和业界技术领袖齐聚一堂#xff0c;畅谈网络未来的发展方向#xff0c;聚焦智算集群网络的创新变…阿里云引领智算集群网络架构的新一轮变革
云布道师
11 月 8 日~ 10 日在江苏张家港召开的 CCF ChinaNet即中国网络大会上众多院士、教授和业界技术领袖齐聚一堂畅谈网络未来的发展方向聚焦智算集群网络的创新变革。其中阿里云研发副总裁基础设施网络负责人蔡德忠先生发表题为《规模 x10 驱动 AI 智算集群网络架构新一轮变革》的主题演讲展望智算技术发展趋势尤其是 Scale up 网络的发展方向提出智算网络未来的技术架构变革的新思路发布了高通量以太网协议和智算超节点系统ENode 的路标规划引起广泛关注。
过去一年阿里云 HPN7.0 引领智算以太网生态蓬勃发展
模型的持续 scaling 以及数据集的扩充对于模型训练的总计算量要求一直在增长业界总结发现算力需求量每年增长 4-6 倍而单颗芯片的算力增长、显存增长、网络带宽增长仍然遵循摩尔定律每 2 年才一倍无法满足算力增长的需求所以算力来自于将更多的 GPU 进行集群化互联网络在算力scaling 中扮演关键的角色。
在 2023 年初的时候智算集群的网络方案选择还是百花齐放的状态Google 有基于私有协议的 TPU 集群微软使用了 NV 提供的一整套 IB 方案而阿里云、 AWS 等公司坚持使用开放的以太网来构建集群。**一时间以太网还是 IB 成为智算集群架构选择的关键话题。**阿里云坚定以太网的路线并且针对智算集群的特点创新设计了 HPN7.0 架构采用业界首发的全自研 51.2T 交换机利用多轨、双上联、双平面结合自研通信库、协议、流控组成高性能系统。阿里云在大规模部署 HPN7.0 智算集群的同时其论文被顶会 SIGCOMM 录取成为网络顶会历史上首篇 AI 智算网络架构论文。
一年多时间过去了阿里云 HPN7.0 已经成为业界标杆引领了以太网智算集群的技术方向目前国内外各大公司都在朝着这个方向演进北美几大公司都已经或者即将基于以太网来部署十万卡级别的算力集群关于智算集群以太网和 IB 的争议已经落幕以太网正在成为超大规模智算集群的行业主流。
未来几年 X10 规模将给网络带来新的重要问题
虽然以太网和 IB 的选择已经画上句号但是新的挑战还在继续。在智算集群的规模化方向上各大公司你追我赶国内公司的智算集群也将很快向 X10 规模迈进尤其是在算力受到限制的情况下通过网络互联扩展规模更有必要。GPU 规模的扩展并不是想象中这么简单不可避免的硬件故障将导致任务中断会更加频繁受限于电力、空间 GPU 资源可能会分布在不同园区距离带来的时延和带宽限制会对整个训练集群的性能产生影响尤其是 GPU Scale up 范围也将更大智算集群的网络架构也会因此产生深远的变革。
通过更大带宽的网络互联是算力扩展的必经之路这是从整体系统架构层面突破摩尔定律限制的主要路径。在这个方向上无论 Scale up 、 Scale out 都需要更加激进的规划。
GPU Scale up 协议路线之争 Ethernet 优势明显
到底什么是 Scale up 简单来讲 Scale up 就是在一定范围内、在成本和互联技术约束下实现的超高带宽互联。这个超高带宽互联的范围固定并且带宽是 Scale out 的数倍以上可以在协议层面优化来支持内存语义。 **不少人以为 Scale up 是机内互联这是一种误解。**在 8 卡系统的时代因为 8 卡在一个 OS 内部所以确实是机内互联然而当 NVL36 、 72 这种AI rack 的形态出现后 GPU Scale up 就不是“机内互联”而是一种新型的节点间网络互联。以 NVL72 为例实际上是 18 台服务器通过9台Scale up交换机连在一起的网络域只不过是在这个域内的带宽 10 倍于 Scale out 的大的带宽 7.2Tbps vs 800Gbps 此外还支持了内存操作语义为了区分我们继续称其为 GPU Scale up 。
GPU Scale up 是 AI 系统发展的一个热门话题备受关注。Scale up 网络大体上可以分成 2 个技术方向。
以 NV 、 Google 为代表的私有协议、封闭系统方案 NVLink 和 TPU 互联以各大互联网和云计算公司自研 GPU 微软、 Meta 、 Tesla 等以及 AMD 、 Intel 为代表的基于Ethernet 的网络传输方案
Ethernet 有超大带宽技术和强大的生态支撑尤其是 UEC 、高通量以太网等开放组织针对 Scale up 进行协议的升级后 Ethernet 支持超大带宽的同时实现了超低时延、在网计算等核心功能所以我们可以看到新晋 Scale up 系统都选择了 Ethernet 可以说 Ethernet 这些特质已经成为 GPU Scale up 网络快速落地的首选技术方案。
计算和网络的新变革Scale up 融合架构优势明显
Scale up 与 Scale out 如何协同工作是决定集群网络性能的关键。在今天的单机 8 卡系统中通过多轨互联、并行排布、通信库协同阿里云的 HPN7.0 架构已经将万卡级别的通信性能发挥到极致。那将来 Scale up 扩展到多机系统尤其是成百上千卡之后 Scale up 与 Scale out 应该如何协同做到全局效率最高呢 机尾 backend 会继续沿着 Scale up Scale out 两张网络各自发展还是会融合兼顾 当 Ethernet 成为 Scale up 的主流方案之后这个选择方向呼之欲出融合架构将是效率更高、成本更低的架构。融合架构将使带宽得到充分共享 Scale up 范围内进行大带宽的 TP 、 EP 、 CP 等通信多个 Scale up 域通过 Scale out 互联进行 DP 、 PP 等通信跨 Scale up 实现合理的带宽收敛即可。同时独立Scale out网卡网络的成本也不容小觑如果将 Scale up 和 Scale out 的以太网融合为一张网通过将不同的 Scale up 域进行Scale out 互联组网不但少了一张网络和网卡的投入在运维、扩展上也将更加统一高效。
未来可期高通量以太网发布关键路标和超节点 ENode 计划
在大会上阿里云代表联盟发布了高通量以太网的协议路线图规划了年度大版本半年小版本的演进方式为国内智算生态的快速发展迭代打好网络基础。同时发布了基于高通量以太网的 ENode 超节点路线为高通量以太网的系统化落地构筑蓝图。
