公告:站长分类目录为广大站长提供免费收录网站服务,快审服务(50元/站),永久收录。

点击这里在线咨询客服
新站提交
  • 网站:7092
  • 待审:2
  • 小程序:12
  • 文章:40332

以造出生避世界上最年夜加快器芯片CS-2 Wafer Scale Engine著名的公司Cerebras颁布发表,他们已经经在操纵“巨芯”入行人工智能训练上走出了首要的一步,训练出了单芯片上全地球的人最年夜的NLP(天然语言处置)AI模子。

该模子具备20亿个参数,基于CS-2芯片入行训练。

这块全地球的人最年夜的加快器芯片采纳7nm制程工艺,由一整块方形的晶圆刻蚀而成。

它的年夜小数百倍于主流芯片,具备15KW的功率,集成为了2.6万亿个7nm晶体管,封装了850000个内核以及40GB内存。

85万核心的世界最大AI芯片打破记录:要
图1 CS-2 Wafer Scale Engine芯片

单芯片训练AI年夜模子新记载

NLP模子的开发是人工智能中的一个首要领域。操纵NLP模子,人工智能可以“理解”文字寄义,并入行响应的动作。OpenAI的DALL.E模子就是一个典范的NLP模子。这个模子可以将使用者的输进的文字信息转化为图片输出。

好比当使用者输进“牛油果外形的扶手椅”后,AI就会主动天生若干涉这句话对于应的图象。

85万核心的世界最大AI芯片打破记录:要
图:AI接管信息后天生的“牛油果外形扶手椅”图片

不止于此,该模子还可以或许使AI理解物种、几何、汗青期间等繁杂的常识。

但要实现这一切其实不容易,NLP模子的传统开发具备极高的算力本钱以及技能门坎。

现实上,若是只讨论数字,Cerebras开发的这一模子20亿的参数目在同业的陪衬下,显患上有些平淡无奇。

前面提到的DALL.E模子具备120亿个参数,而今朝最年夜的模子是DeepMind于往年年末推出的Gopher,具备2800亿个参数。

但除了往惊人的数字外,Cerebras开发的NLP另有一个庞大的突破:它下降了NLP模子的开举事度。

「巨芯」若何打败GPU?

依照传统流程,开发NLP模子必要开发者将庞大的NLP模子切分若干个功能部门,并将他们的事情负载扩散到成百上千个图形处置单位上。

数以千百计的图形处置单位对于厂商来讲象征着庞大的本钱。

技能上的坚苦也一样使厂商们疾苦不胜。

切分模子是一个定制的问题,每一个神经网络、每一个GPU的规格、和将他们毗连(或者互联)在一块儿的网络都是唯一无二的,而且不克不及跨体系移植。

厂商必需在第一次训练前将这些身分通通斟酌清晰。

这项事情极为繁杂,有时辰乃至必要几个月的时间才干完成。

Cerebras暗示,这是NLP模子训练中“最疾苦的方面之一”,只有少少数公司拥有开发NLP所需要的资本以及专业常识。对于于人工智能行业中的其他公司而言,NLP的训练则太昂贵、太耗时且没法使用。

但若单个芯片就可以支撑20亿个参数的模子,就象征着不必要使用海量的GPU扩散训练模子的事情量。这可觉得厂商节流数千个GPU的训练本钱以及相干的硬件、扩大要求,同时这也使厂商没必要履历切分模子并将其事情负载分配给数千个GPU的疾苦。

Cerebras也并未仅仅执拗于数字,评价一个模子的黑白,参数的数目其实不是独一尺度。

比起但愿出生于“巨芯”上的模子“尽力”,Cerebras更但愿的是模子“聪慧”。

之以是Cerebras可以或许在参数目上取患上爆炸式增加,是由于操纵了权重流技能。这项技能可以将计较以及内存的占用量解耦,并容许将内存扩大到足以存储AI事情负载中增长的任何数目的参数。

因为这项突破,设置模子的时间从几个月削减到了几分钟,而且开发者在GPT-J以及GPT-Neo等型号之间“只需几回按键”就能够完成切换。这让NLP的开发变患上加倍非常简单。

这使患上NLP领域泛起了新的变革。

正如Intersect360 Research 首席研究官 Dan Olds 对于Cerebras取患上成绩的评价:“Cerebras 可以或许以具备本钱效益、易于走访的方法将年夜型语言模子带给年夜众,这为人工智能斥地了一个激动听心的新期间。”

网站TAG:显卡 芯片 人工智能

  • NVIDIA发布GeForce 516.59显卡驱动:F1 22游戏鸡血提升2倍性能
  • 全球首款独显Winodws掌机!AYANEO官宣NEXT 2
  • 苹果自研5G芯片或已失败 消息影响这个板块
  • 教训惨痛!B站用户4000元买RTX 3080矿卡 一周就花屏
  • 游戏性能对标GTX 1050Ti:映众发布GTX 1630官方测试结果
  • NVIDIA GTX 1630性能首测:被RX 6400按在地上摩擦
  • 七彩虹首发三款GTX 1630:经典战斧1269元
  • 400元!EVGA发布四8针-16针转接器:自带ARGB光污染
  • 上千元的亮机卡!GTX 1630正式发布:还不如6年前的它
  • 不用再换新手机了!工程师开发出乐高式可拆卸AI芯片
  • 热门网站
    最新入驻小程序

    小狐狸直播最新地址(长期更新)2022-05-11

    小狐狸直播最新地址(长期更新)狐

    小狐狸直播2022-05-11

    狐狸直播,只想做你的小狐狸 下载

    数独大挑战2018-06-03

    数独一种数学游戏,玩家需要根据9

    答题星2018-06-03

    您可以通过答题星轻松地创建试卷

    全阶人生考试2018-06-03

    各种考试题,题库,初中,高中,大学四六

    运动步数有氧达人2018-06-03

    记录运动步数,积累氧气值。还可偷