您的位置:首页 > 资讯 >

M6实现了业内高的低碳高效用512个GPU在10天内训练出一个可用的10万亿模型

2021-11-08 13:44  阅读量:8107   来源:快科技   

在人工智能前沿领域,中国AI实现了突破。

日前,阿里巴巴达摩院公布了多模态模型M6的最新进展,其参数从万亿跃升至10万亿,远超此前谷歌,微软发布的万亿级模型,成为全球最大的AI预训练模型。

同时,M6实现了业内最高的低碳高效,用512个GPU在10天内训练出一个可用的10万亿模型。

与去年发布的大型车型GPT—3相比,M6达到了同样的参数规模,能耗仅为1%。

M6达摩院是一个通用的人工智能模型,具有多模态,多任务能力,其认知和创造能力超越传统AI特别擅长设计,写作,问答,在电子商务,制造,文艺,科研等领域有着广阔的应用前景

与传统AI相比,大模型拥有数百倍的Neuron 量,并且提前学到了很多知识,表现出像人类一样的以此类推学习能力

因此,大模式一般被认为是未来的基本模型将成为下一代AI基础设施但是它的计算成本相当高,训练1750亿参数语言的大型模型GPT—3所需的能耗相当于汽车每月往返的路程

今年5月,达摩院M6团队通过专家并行策略和优化技术,将万亿级模型的能耗降低了80%以上,效率提升了近11倍。

10月,M6再次突破行业极限,通过更细粒度的CPU卸载,共享—取消算法等创新技术,收敛效率进一步提升7倍,使得模型规模扩大了10倍,但能耗并没有明显增加。。

这一系列突破,大大降低了大模型的研究门槛,让一台机器训练出千亿模型成为可能。今天,阿里巴巴集团副总裁,达摩院自动驾驶实验室负责人王刚宣布,达摩院正在研发L4级自动驾驶卡车“大满驴”,并已与菜鸟合作开始小规模路试。

同时达摩院和阿里巴巴云推出M6服务平台,为大模型的培训和应用提供了完整的工具,使大模型首次实现开箱即用,算法人员和普通用户都可以轻松使用该平台

达摩院还推出了最大的中文多模态评价数据集MUGE,涵盖了图形描述,图像文本生成和跨模态检索等任务,填补了缺乏权威中文多模态评价基准的空白。

作为国内首个商业化的大型多模态模型,M6已经应用于40多个场景,日通话量上亿。

今年,Big Model首次支持双11犀牛知止为该品牌设计的M6服装已在淘宝上线,凭借流畅的写作技巧,M6正在为天猫虚拟主播创作剧本,依托多模态理解能力,M6正在提升淘宝,支付宝等平台的搜索和内容认知准确率

大源智能计算实验室负责人周说:接下来,我们将深入研究大脑的认知机制,努力将M6的认知能力提升到接近人类的水平例如,通过模拟人类的跨模态知识提取和理解,我们将构建一个人工智能算法的通用框架另一方面,不断提升M6在不同场景下的创意,产生优秀的应用价值

根据消息显示,达摩院语言模型PLUG最近升级到2万亿参数,成为全球最大的中文语言模型,其AliceMind语言模型系统也推出了服务平台。

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

md