2月21日，根据Groq官网的测试数据，搭载Groq的 Metata Llama 2模型推理性能是云计算供应商的18倍。Jonathanangroq创始人 Ross声称，LPU芯片在大型语言模型任务中的性能是英伟达GPU芯片的10倍，其价格和功耗仅为后者的十分之一。更令人印象深刻的是，一张LPU卡的内存只有230MB，价格只有2万美元。 

Groq一夜之间迅速出现，运行在同名模型启动器上的大型语言模型每秒可以以惊人的速度输出近500个token。相比之下，它的性能是Gemini的10倍，是GPT-4的18倍。

值得一提的是，Groq并没有涉足新模型的研发。开源模型Mixtrall运行在主页上 8x7B-32k，Llama 270B-4k。然而， 芯片采购平台Groq之所以能达到如此高效的响应速度，是因为其自主研发的语言处理单元LPU。据Groq官网介绍，LPU是专门为AI推理设计的芯片。与其他AI聊天机器人相比，Groq闪电般的响应速度迅速引爆互联网讨论。经过网友测试，Groq每秒生成速度接近500 tok/s，碾压GPT-4的40 tok/s。

Groq的LPU技术不仅实现了高效率，而且具有经济环保的特点。这一创新给大型语言模型推理领域带来了革命性的突破，使Groq迅速出现在初创公司中。未来，Groq预计将继续在这一领域领先，并促进人工智能技术的发展和应用。

*一些图片来自网络。如有侵权行为，请联系本号删除*

• 芯片
• 公司
• 初创
• LPU
• 碾压