第十届ASC超算总决赛:挑战179亿参数大模型训练
2023-05-26 09:03:27 来源:
【资料图】
5月10日,第十届ASC世界大学生超级计算机竞赛总决赛在中国科学技术大学落下帷幕。北京大学、中国科学技术大学分获冠亚军,中国科学技术大学获e Prize计算挑战奖,浙江大学获最高计算性能奖。
正式决赛的首日,24支队伍向AI语言大模型、超级团队赛和HPL&HPCG基准测试三道赛题展开比拼。
据悉,本届比赛e Prize计算挑战奖的指定赛题是AI语言大模型。ASC组委会提供了100GB高质量中文数据集,要求参赛队基于此数据集分别实现15亿、179亿参数的2个AI语言大模型。参赛队需要自行设计模型训练策略并完成模型训练过程,在追求极致性能的同时,还要满足精度约束等严苛条件,使得这道赛题极具挑战性。
南方科技大学代表队表示,“前期我们研究了很多大模型相关论文,学习如何进行并行优化、主流分布式训练框架等。但是拿到这个赛题时还是非常惊讶,179亿参数的模型真的很大,对显存、GPU等资源及并行计算优化的要求远远超出我们的预期。”
据介绍,本届超级团队赛由24支队伍通过抽签组成4个超级团队,每个超级团队需包含一支线上参赛队伍,以跨团队合作的形式共同完成决赛首日公布的量子线路采样模拟的赛题。
随机量子线路的采样问题因为其巨大的经典模拟复杂度被认为是展示量子计算优越性的最佳候选者。2019年谷歌量子人工智能团队发表基于悬铃木量子芯片的随机量子线路采样实验,宣称其经典模拟时间需要花费超算一万年,而量子实验仅需200秒,因此展示了量子优越性。
本届比赛的赛题是通过一个基于张量网络的算法来模拟53比特12循环的悬铃木量子线路,并计算谷歌实验中采样出来的1024个末态比特串样本的严格振幅以及这些样本的随机交叉上熵保真度。相较于传统的模拟算法,基于张量网络的量子线路模拟方法能够大大加速模拟的过程,将谷歌宣称的一万年模拟时间缩短到数十秒,达成超过10亿倍的性能提升。量子线路的高效经典模拟方法能够帮助人们对量子计算优越性有一个更为清晰的认知,与此同时也能助力量子硬件以及量子实验的设计、测试以及验证。
在HPL计算基准性能测试中,浙江大学以每秒109万亿次浮点运算性能的佳绩名列榜首。他们设计搭建了“1机8卡”异构加速系统,在3000W总功耗约束下,将更多功耗分配给GPU进行应用运算,并结合精细的控制优化,实现整体系统109万亿次/秒的HPL持续浮点运算性能。
ASC超算竞赛采用国际最通用的超级计算机浮点性能基准测试程序HPL,这也是全球超算TOP500排行的主要依据。ASC竞赛规则要求各参赛队伍自行设计超算系统,在总功耗3000W约束下正确完成包括HPL计算性能基准测试在内的各项计算任务。
ASC世界大学生超级计算机竞赛是由中国发起组织,并得到亚洲及欧美相关专家和机构支持,旨在通过大赛平台推动各国及地区间超算青年人才交流和培养,提升超算应用水平和研发能力,发挥超算的科技驱动力,促进科技与产业创新。ASC超算大赛迄今已举行至第10届,吸引超过万名世界各国大学生参赛,是全球最大规模的超算竞赛。(柯岩)
[责任编辑:yjsh]
相关阅读
- (2023-05-26)环球报道:宏昌科技:发行可转债获证监会同意注册批复
- (2023-05-26)2023年广东省平均工资是多少?与养老金领取有关系吗? 全球最新
- (2023-05-26)新消息丨中际旭创(300308.SZ):海外这边,正在和云厂商与互联网公司合作开发下一代的相关产品
- (2023-05-26)起点中巡金立肇庆站:周彦含3杆逆转卫冕_环球速讯
- (2023-05-26)浙江上线“乡村博物馆地图” 快播报
- (2023-05-26)「美国汽车企业Q1财报」如何应对中美电动市场的战略竞争?
- (2023-05-26)生化危机0威斯克模式_生化危机中威斯克在哪日去世
- (2023-05-26)吱吱鼠图片 吱吱鼠-每日速读
- (2023-05-26)天津海关:科技让通关更便利
- (2023-05-26)全球播报:北京交职业技术学院官网首页铁路
- (2023-05-26)扎赉特旗贴吧首页_扎赉特旗贴吧
- (2023-05-26)场地硬化_什么是场地硬化
- (2023-05-26)骆文襟:沃尔沃汽车专注于电气化和智能化 也专注于延续近百年的品牌传统
- (2023-05-26)离开爱的人心碎到撕心裂肺句子 天天通讯
- (2023-05-26)鹏华港美互联网美元现汇基金经理发生变更|热消息
- (2023-05-26)提前还贷一般审批多久?光大提前还贷审批期多久?
- (2023-05-26)观焦点:调查回声:北三环西路辅路及周边“病井盖”,治好了!
- (2023-05-26)拟下架中国境内App!富途控股美股盘前一度跌逾15% 当前最新
- (2023-05-26)报告:亲宝宝市场覆盖率及用户规模位居行业第一,母婴种草率领先
- (2023-05-26)导致青少年心脏病发作的基因突变_环球速讯