bandao网站·(中国)官方平台

集团新闻

im体育让大学生跑语言大模型这场世界超算竞赛刚结束北大首次夺冠

发布日期:2023-05-13  来源:

  北京大学首次获得ASC决赛冠军,而东道主中国科学技术大学获得亚军,香港中文大学获得线上竞赛冠军。

  ASC世界大学生超级计算机竞赛,是由中国在2012年发起的世界最大规模的大学生超算竞赛,与美国SC、德国ISC并称全球三大超算竞赛,今年正好是ASC第10届。

  今年的ASC决赛正式比赛在5月8日和9日两天进行,参赛队伍是从初赛300支队伍队伍中脱颖而出的24支队伍。

  其中有20支来自中国大陆高校的队伍,在中科大体育馆内完成线支来自港台和国外的队伍,则借助云计算资源完成线上比赛。

  各高校参赛队伍需要在2天内完成6道赛题im体育,时间紧任务重,任何失误都可能导致与冠军失之交臂,这也是ASC过去历届黑马频出的原因。

  由于今年ChatGPT火热,今年的大语言模型题受到了组委会和媒体的重点关注,这道题的优胜者也将获得本届ASC的e Prize计算挑战奖。

  ASC组委会提供了100GB的高质量中文数据集,要求参赛队基于这一数据集实现15亿、179亿参数两个模型的训练。

  参赛队伍需要自行合理设计模型训练策略,在追求极致性能的同时,还要满足精度约束等严苛条件。

  中国科学技术大学队伍运用多种业界前沿的大模型并行策略、显存优化方法,最终获得了这道赛题的最高分,夺得本届ASC e Prize计算挑战奖。

  中科大选手吴天铭表示:“这道赛题是在ChatGPT火起来之前就出来了,我们为此做了很多功课。不久后ChatGPT爆火,我们就已提前理解了它是怎么运作的,所以觉得ChatGPT‘神奇也不神奇’。”

  除了大语言模型外,本届ASC也聚焦于其他业界前沿问题。比如此前谷歌实现量子优越性的量子计算芯片“悬铃木”,参赛选手需要在超算上模拟该芯片的量子采样问题。

  谷歌曾宣称在传统超算上,这个问题需要运行1万年,而参赛选手需通过基于张量网络的量子模拟算法实现10亿倍的性能提升,将模拟时间缩短至10秒。

  这道题也成为了本届大赛的超级团队赛项目,即5个线个线上队伍组队完成,让各高校之间不仅是竞争对手,也是合作伙伴,极大地考验选手们的协作沟通能力。

  在HPL&HPCG基准测试这道题中,各参赛队伍需要自行设计超算系统,在总功耗3000W约束下正确完成各项计算任务。

  浙江大学以109万亿次/秒的HPL持续浮点运算性能,获得本届ASC最高计算性能奖。

相关新闻
HTML地图 网站地图