逐浪AIGC丨大模型需要大算力,但光靠GPU也不行 焦点速读
2023-06-26 19:51:54来源:21世纪经济报道
21世纪经济报道记者白杨 北京报道
【资料图】
随着AI大模型参数量从亿级飙升到万亿级,人们对于支撑大模型训练的超大规模算力也越发关注。而谈及算力,GPU自然是核心话题,但是,GPU也不是唯一。
因为大模型庞大的训练任务,需要由大量GPU服务器组成的算力集群来提供算力,而这些服务器之间要通过网络连接,进行海量数据交换。有数据显示,算力集群每次计算背后,服务器间的同步通信量会高达百GB。
所以单个GPU的性能再强,如果网络性能跟不上,那整个算力集群的计算能力也会大打折扣。因此,大集群不等于大算力,相反,GPU集群越大,产生的额外通信损耗越多。
据悉,千亿、万亿参数规模的大模型,训练过程中通信占比最大可达50%,传统低速网络的带宽远远无法支撑。同时,传统网络协议容易导致网络拥塞、高延时和丢包,而仅0.1%的网络丢包就可能导致50%的算力损失,最终造成算力资源的严重浪费。
这也进一步说明,大模型发展是典型的木桶效应,任何一块短板,都会影响整体的性能。而大带宽、高利用率、信息无损,则是AI大模型时代网络能力面临的核心挑战。
针对网络能力,6月26日,腾讯云首次对外完整披露了其自研的星脉高性能计算网络。据介绍,星脉网络具备3.2T通信带宽,能提升40%的GPU利用率,节省30%~60%的模型训练成本,为AI大模型带来10倍通信性能提升。基于腾讯云新一代算力集群HCC,可支持10万卡的超大计算规模。
腾讯云副总裁王亚晨表示,星脉网络在交换机、通信协议、通信库以及运营系统等方面,进行了软硬一体的升级和创新,是为大模型而生的网络架构。
其中在硬件方面,星脉网络基于腾讯的网络研发平台,采用全自研设备构建互联底座,可实现自动化部署和配置;在软件方面,腾讯云自研的TiTa网络协议,能够实时监测并调整网络拥塞,满足大量服务器节点之间的通信需求,使集群通信效率达90%以上。
此外,腾讯云还为星脉网络设计了高性能集合通信库TCCL,通过融入定制化解决方案,使系统实现了微秒级感知网络质量。结合动态调度机制合理分配通信通道,可以避免因网络问题导致的训练中断等问题,让通信时延降低40%。
王亚晨表示,网络的可用性,也决定了整个集群的计算稳定性。为确保星脉网络的高可用,腾讯云自研了端到端的全栈网络运营系统,通过端网立体化监控与智能定位系统,让整体故障的排查时间由天级降低至分钟级。同时,大模型训练系统的整体部署时间也从19天缩减至4.5天。
在AI大模型的推动下,网络技术正在加速演进。而腾讯云星脉网络背后,也是腾讯过去三代网络技术演进的成果。
在腾讯发展初期,数据中心网络流量主要由用户访问数据中心服务器的南北向流量构成,网络架构以接入、汇聚、出口为主。这一阶段主要使用了商用网络设备,搭建标准化数据中心网络,支撑QQ在线人数增长超过1亿,服务器规模增长超10万。
随着大数据和云计算的兴起,服务器之间的东西向流量逐渐增多,云租户对网络产生了虚拟化和隔离的要求。数据中心网络架构逐渐演变为同时承载南北向和东西向流量的云网络架构,腾讯云开始构建全自研网络设备与管理系统,打造超大规模数据中心网络,服务器规模近200万台。
而随着AI大模型的出现,腾讯云推出的星脉网络,采用了东西向、南北向流量的分离架构,并构建了独立的超大带宽、符合AI训练流量特征的网络架构,配合自研软硬件设施,实现整套系统的自主可控,也能满足超强算力对网络性能的新需求。
据悉,腾讯云此前发布的新一代HCC高性能计算集群,正是基于星脉网络打造,可以实现3.2T超高互联带宽,算力性能较前代提升了3倍。
责任编辑:hnmd003
精彩推荐
- 物美启用便利店双品牌 北京市场格局生变
- 南水北调河南供水范围将扩大
- 内地房企海伦堡拟赴港上市
- 双“11”大数据出炉了 洛阳人爱买啥?
- 京津冀多地遭遇大气重污染 专家为您详...
- 郑州新密一家具厂发生火灾,厂房被毁
最近更新
- 逐浪AIGC丨大模型需要大算力,但光靠GPU...
- 银行理财5月报:新品规模下滑12.88%,权...
- GGII:5月国内动力电池装机量约27GWh ...
- 商银信通可靠吗_商银通官网
- celine心形包 那些年你没见过的Celine...
- 潍城区篮球选拔赛火热进行中 全球即时看
- 焦点简讯:政务服务大厅里新添自助拍照机...
- 百家淘客(08287.HK):中文股份简称更改...
- 《消失的她》首周打破31项纪录!网友:...
- 退市警告又响起,房多多(DUO.US)四年...
- 冯仑:以后人可能都是工厂做的,老百姓...
- 北京今年首期小客车指标摇号结果出炉:6...
- 股价创历史新低!科兴制药:已向30+国家...
- 世界黄金协会:2022年全球黄金产量为362...
- 今日关注:运营27年:远古MMO网游即将关服!
- 有方科技:子公司拟联合开发分布式存储...
- 齐工大教务管理系统 环球看热讯
- 天天热讯:本命年买什么颜色手机_本命年...
- 行业顶流配置,无愧旗舰轻客,江铃福特...
- 世界今日报丨淘宝的淘气值在哪里看?如...
- 2018年至2022年福建省新收一审毒品犯罪...
- 全球即时:澳大利亚新南威尔士州有哪些...
- 天天热文:长春市中小学暑假时间定了!
- 全球新资讯:怪兽充电(EM.US)财报启示...
- 包浩斯国际(00483)公布年度业绩 纯利同...
- 全球集装箱货运市场仍低迷 北美和欧洲...
- 王慧文商业版图盘点 王慧文接连卸...
- 【天天报资讯】揭秘张雪峰商业版图 ...
- 山东 | 五年来“最火热”端午山东数据...
- 今日快讯:关于最逗的文案
阅读排行
-
银行理财5月报:新品规模下滑12.88%,权益品破净高达70.37%|全球时讯
上一篇2023-06-26 19:47:51