英伟达GPU芯片10倍速度
2024-03-132月21日消息，据Groq官网的测试数据显示，搭载Groq LPU芯片的Meta Llama 2模型推理性能比云计算供应商高出18倍。Groq创始人Jonathan Ross声称，在大型语言模型任务上，LPU芯片的性能比英伟达的GPU芯片快上10倍，而其价格和耗电量仅为后者的十分之一。更令人印象深刻的是，单张LPU卡的内存仅为230MB，价格仅为2万美元。 一夜之间Groq迅速崭露头角，其同名模型启动器上运行的大型语言模型，能够以惊人的速度每秒输出近500个token。相比之下，其性能超越了G