【明報專訊】AI晶片龍頭Nvidia(美:NVDA)的圖像處理器(GPU),通常被視為運行AI模型的標配,但對於大型語言模型(LLM)的處理效率,AI初創公司Groq的語言處理器(Language Processing Unit, LPU),似乎超越Nvidia的GPU。Groq的LPU是推理引擎(inference engine),專為運行大型語言模型而設,可助OpenAI旗下的ChatGPT及Google旗下的Gemini等AI聊天機械人迅速反應。
【明報專訊】AI晶片龍頭Nvidia(美:NVDA)的圖像處理器(GPU),通常被視為運行AI模型的標配,但對於大型語言模型(LLM)的處理效率,AI初創公司Groq的語言處理器(Language Processing Unit, LPU),似乎超越Nvidia的GPU。Groq的LPU是推理引擎(inference engine),專為運行大型語言模型而設,可助OpenAI旗下的ChatGPT及Google旗下的Gemini等AI聊天機械人迅速反應。