AI & Big Data 05月21日 01:13
【波士頓直擊】紅帽年會首日5大宣布,全面瞄準企業大規模GAI運用潮
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

红帽年度大会聚焦企业大规模运用GAI,发布五项重要产品战略。核心是实现“任何模型、任何加速芯片、任何云”的AI战略,推出新版RHEL 10操作系统,强化混合云和AI工作负载支持。同时,基于vLLM项目推出AI推论服务器,并发布大规模AI推论加速开源项目llm-d,旨在突破vLLM的单服务器限制,构建分布式推理架构。此外,Red Hat AI和OpenShift AI将支持Meta的Llama Stack框架和Anthropic的MCP协议,推动代理AI的普及和大规模部署。

🎯 红帽全新AI战略:实现“任何模型、任何加速芯片、任何云”,旨在让任何模型都能使用任何芯片,在公有云、私有云和边缘环境执行。

🚀 RHEL 10:新版商用Linux操作系统,着重简化运维,使OS更新如同手机更新般便捷,并推出Linux通用AI助理Lightspeed,提供NIST批准的后量子加密算法。

💡 AI推论服务器:基于vLLM项目推出,利用Neural Magic技术,支持各种模型,并能部署到各种云环境中,加速LLM的开源项目vLLM已被下载超过50万次。

🌐 llm-d项目:以K8s为基础,构建分布式推理架构,打破vLLM的单服务器限制,提供十倍推理吞吐量,创始成员包括AMD、Cisco、Google、Hugging Face等。

🤝 合作与支持:RedHat AI和OpenShift AI将支持Meta的Llama Stack框架和Anthropic的MCP协议,旨在推动代理AI的普及和大规模部署。

紅帽今年年度大會的重點是支援企業大規模的運用GAI,在第一天開場演講中,宣布了五項重要的產品戰略。

第一項重點宣布是全新的AI戰略方向。紅帽執行長Matt Hicks強調,紅帽過去的戰略是要通吃任何工作複雜,任何形式App,可以在任何地方執行(Any Workload,Any App,Anywhere),隨著GenAI崛起後,他認為,也帶來全新的工作負載型態,紅帽全新的GAI戰略是實現任何模型、任何加速晶片、任何雲(Any Model,Any accelerator,Any Cloud),也就是,可以讓任何模型,使用任何晶片,在不同雲端環境,公雲,私雲和邊緣上執行。

今天的第二項宣布是推出新版商用Linux作業系統RHEL 10。紅帽產品長Ashesh Badani指出這是20年來最強大的新版本,可以通吃混合雲和AI工作運算需求,新功能像是Image模式大幅簡化維運,讓OS更新就像手機更新一樣簡單,也推出命令列的Linux通用AI助理Lightspeed,RHEL也是第一款提供NIST批准的後量子加密演算法的商用作業系統。

第三項產品發表則是以vLLM專案為基礎,推出全新的AI推論伺服器。紅帽去年11月併購了vLLM專案主要貢獻者Neural Magic,納入Red Hat AI團隊。紅帽技術長Chris Wright強調,在AI世界,企業想要的生產上線(Production),如何支援企業大規模的GAI使用是焦點。用來加速LLM的開源專案vLLM,超過50萬次下載,可以將模型推論的吞吐量提高數倍。紅帽以Neural Magic的技術為基礎,推出vLLM的AI Inference Server(紅帽AI推論伺服器),可以支援各種模型,也能部署到各種環雲端環境中。

第四項宣布是發表了一個大規模AI推論加速的開源專案llm-d。紅帽技術長Chris Wright解釋,llm-d專案以K8s為基礎,打造出一個分散式推理架構,可以打破vLLM的單一伺服器限制,在正式環境中打造大規模的分散式推理架構,提供十倍推理吞吐量的能力。

Chris Wright比喻,llm-d專案對LLM推論世界的意義,就像是K8s,可以支援超大規模的架構。這項專案的創始成員包括了AMD、Cisco、CoreWeave、Google、Hugging Face、IBM Research、Intel、Lambda、Mistral AI和Nvidia。

最後一項重點是瞄準代理AI普及和大規模部署需求,紅帽旗下兩大AI產品線RedHat AI和OpenShift AI,未來將支援Meta的Llama Stack框架和 Anthropic 的 Model Context Protocol (MCP) 協定。 Llama Stack提供一整套標準化的GAI建置模組,後者則可以整合到龐大的MCP伺服器生態圈。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

红帽 GAI RHEL 10 AI推论 llm-d
相关文章