Cerebras Systems发布了他们的第三代晶圆级AI加速芯片“WSE-3”(Wafer Scale Engine 3)，规格参数更加疯狂，而且在功耗、价格不变的前提下性能翻了一番。 2019年的第一代WSE-1基于台积电16nm工艺，面积46225平方毫米，晶体管1.2万亿个，拥有40万个AI核心、18GB SRAM缓存，支持9PB/s内存带宽、100Pb/s互连带宽，功耗高达15千瓦。
2021年的第二代WSE-2升级台积电7nm工艺，面积不变还是46225平方毫米，晶体管增至2.6万亿个，核心数增至85万个，缓存扩至40GB，内存带宽20PB/s，互连带宽220Pb/s。
如今的第三代WSE-3再次升级为台积电5nm工艺，面积没说但应该差不多，毕竟需要一块晶圆才能造出一颗芯片，不可能再大太多了。 晶体管数量继续增加达到惊人的4万亿个，AI核心数量进一步增加到90万个，缓存容量达到44GB，外部搭配内存容量可选1.5TB、12TB、1200TB。 乍一看，核心数量、缓存容量增加的不多，但性能实现了飞跃，峰值AI算力高达125PFlops，也就是每秒12.5亿亿次浮点计算，堪比顶级超算。
它可以训练相当于GPT-4、Gemini十几倍的下一代AI大模型，能在单一逻辑内存空间内存储24万亿参数，无需分区或者重构。 用它来训练1万亿参数大模型的速度，相当于用GPU训练10亿参数。 四颗并联，它能在一天之内完成700亿参数的调教，而且支持最多2048路互连，一天就可以完成Llama 700亿参数的训练。 WSE-3的具体功耗、价格没公布，根据上代的情况看应该在200多万美元。
|
手机版|外设堂
( 辽ICP备13014379号 )
辽公网安备 21010202000549号
GMT+8, 2024-12-21 21:25 , Processed in 0.077453 second(s), 15 queries , Gzip On.
Powered by Discuz! X3.4
Copyright © 2001-2021, Tencent Cloud.
