腾讯发布大模型算力集群,整体性能提升3倍_训练_搭载_数据

驱动中国2023年4月14日消息 腾讯今日发布了新一代HCC(High-Performance Computing Cluster)高性能计算集群,成为继百度、阿里之后,又一入局大模型“混战”的巨头。 据悉,该集群采用腾讯云星星海自研服务器

驱动中国2023年4月14日消息 腾讯今日发布了新一代HCC(High-Performance Computing Cluster)高性能计算集群,成为继百度、阿里之后,又一入局大模型“混战”的巨头。

据悉,该集群采用腾讯云星星海自研服务器,搭载英伟达最新代次H800 GPU,服务器之间采用3.2T互联带宽,为大模型训练、自动驾驶、科学计算等提供高性能、高带宽和低延迟的集群算力。相比前代,该集群的算力提升高达3倍。

具体来说,去年10月,腾讯完成首个万亿参数的 AI 大模型 —— 混元 NLP 大模型训练。在同等数据集下,将训练时间由 50 天缩短到 11 天。如果基于新一代集群,训练时间将进一步缩短至 4 天。

同时,据澎湃新闻报道,一位接近腾讯人士称,此次发布的高性能计算集群的亮点有两方面,第一在于搭载H800 GPU,这是国内首次发布搭载H800的大模型产品,第二是在网络层面,腾讯发布自研的星脉网络能提供3.2T通信宽带,为业内最高数据。

此外,腾讯云自研的文件存储、对象存储架构,具备TB级吞吐能力和千万级IOPS,满足大模型训练的大数据量存储要求。

本文来自投稿,不代表长河网立场,转载请注明出处: http://www.changhe99.com/a/WArpX02ArX.html

(0)

相关推荐