芯片资讯
你的位置:高云半导体gowin高云FPGA芯片全系列-亿配芯城 > 芯片资讯 > 英伟达GPU芯片10倍速度
英伟达GPU芯片10倍速度
- 发布日期:2024-03-13 06:56 点击次数:142
2月21日,根据Groq官网的测试数据,搭载Groq的 Metata Llama 2模型推理性能是云计算供应商的18倍。Jonathanangroq创始人 Ross声称,LPU芯片在大型语言模型任务中的性能是英伟达GPU芯片的10倍,其价格和功耗仅为后者的十分之一。更令人印象深刻的是,一张LPU卡的内存只有230MB,价格只有2万美元。
Groq一夜之间迅速出现,运行在同名模型启动器上的大型语言模型每秒可以以惊人的速度输出近500个token。相比之下,它的性能是Gemini的10倍,是GPT-4的18倍。
值得一提的是,Groq并没有涉足新模型的研发。开源模型Mixtrall运行在主页上 8x7B-32k,Llama 270B-4k。然而,Groq之所以能达到如此高效的响应速度,是因为其自主研发的语言处理单元LPU。据Groq官网介绍,LPU是专门为AI推理设计的芯片。与其他AI聊天机器人相比,Groq闪电般的响应速度迅速引爆互联网讨论。经过网友测试,Groq每秒生成速度接近500 tok/s,碾压GPT-4的40 tok/s。
Groq的LPU技术不仅实现了高效率,而且具有经济环保的特点。这一创新给大型语言模型推理领域带来了革命性的突破,使Groq迅速出现在初创公司中。未来,Groq预计将继续在这一领域领先,并促进人工智能技术的发展和应用。
*一些图片来自网络。如有侵权行为,请联系本号删除*
相关资讯
- 中国电子元器件网:时机刚好,中国芯片大崛起2024-07-04
- 中国电子元器件网:ST与罗姆子公司签署供货协议,硅碳产能持续释放2024-07-03
- 中国半导体材料芯片制造行业井然有序复工复产确保国际性产业链2024-06-24
- 2021年中国大陆IC设计公司数量同比增长26.7%2024-05-27
- 国产模拟芯片逐渐向深水领域进军2024-05-25
- 亚马逊云科技推出三款自研芯片支持的全新Amazon EC2实例2024-05-24