紅帽今年年度大會的重點是支援企業大規模的運用GAI,在第一天開場演講中,宣布了五項重要的產品戰略。
第一項重點宣布是全新的AI戰略方向。紅帽執行長Matt Hicks強調,紅帽過去的戰略是要通吃任何工作複雜,任何形式App,可以在任何地方執行(Any Workload,Any App,Anywhere),隨著GenAI崛起後,他認為,也帶來全新的工作負載型態,紅帽全新的GAI戰略是實現任何模型、任何加速晶片、任何雲(Any Model,Any accelerator,Any Cloud),也就是,可以讓任何模型,使用任何晶片,在不同雲端環境,公雲,私雲和邊緣上執行。
今天的第二項宣布是推出新版商用Linux作業系統RHEL 10。紅帽產品長Ashesh Badani指出這是20年來最強大的新版本,可以通吃混合雲和AI工作運算需求,新功能像是Image模式大幅簡化維運,讓OS更新就像手機更新一樣簡單,也推出命令列的Linux通用AI助理Lightspeed,RHEL也是第一款提供NIST批准的後量子加密演算法的商用作業系統。
第三項產品發表則是以vLLM專案為基礎,推出全新的AI推論伺服器。紅帽去年11月併購了vLLM專案主要貢獻者Neural Magic,納入Red Hat AI團隊。紅帽技術長Chris Wright強調,在AI世界,企業想要的生產上線(Production),如何支援企業大規模的GAI使用是焦點。用來加速LLM的開源專案vLLM,超過50萬次下載,可以將模型推論的吞吐量提高數倍。紅帽以Neural Magic的技術為基礎,推出vLLM的AI Inference Server(紅帽AI推論伺服器),可以支援各種模型,也能部署到各種環雲端環境中。
第四項宣布是發表了一個大規模AI推論加速的開源專案llm-d。紅帽技術長Chris Wright解釋,llm-d專案以K8s為基礎,打造出一個分散式推理架構,可以打破vLLM的單一伺服器限制,在正式環境中打造大規模的分散式推理架構,提供十倍推理吞吐量的能力。
Chris Wright比喻,llm-d專案對LLM推論世界的意義,就像是K8s,可以支援超大規模的架構。這項專案的創始成員包括了AMD、Cisco、CoreWeave、Google、Hugging Face、IBM Research、Intel、Lambda、Mistral AI和Nvidia。
最後一項重點是瞄準代理AI普及和大規模部署需求,紅帽旗下兩大AI產品線RedHat AI和OpenShift AI,未來將支援Meta的Llama Stack框架和 Anthropic 的 Model Context Protocol (MCP) 協定。 Llama Stack提供一整套標準化的GAI建置模組,後者則可以整合到龐大的MCP伺服器生態圈。