AMD宣布收購AI推論優化技術業者Brium,以協助LLM在AMD等非Nvidia硬體架構上的推論效能。
Brium產品涵括的組譯器技術、模型執行框架及完整的AI推論最佳化技術,其方案旨在提升多種硬體架構上大型語言模型(LLM)的推論效率。AMD解釋,Brium技術特別之處在於它能優化模型接觸到硬體前的整個技術堆疊,有助於減少對特定硬體配置的依賴,而能在更多元環境上,實現更快的AI應用。
AMD表示,Brium的收購有助於提升該公司硬體平臺的效率和彈性。而Brium的收購連同AMD之前收購的Silo AI、Nod.ai及Mipsology,可強化該公司執行開源軟體生態系的能力。
Brium擁有組譯器開發和分散式機器學習基礎架構能力的團隊加入後,可立即投入AMD OpenAI Triton、WAVE DSL和SHARK/IREE等核心專案,能實現AMD Instinct GPU平臺上更快速執行AI模型。配合AMD加強投入新的精度格式如MX FP4和FP6,將可推升其AI硬體執行新興訓練和推論任務的效能。AMD希望藉此提升LLM在非NVIDIA GPU(即AMD Instinct)上執行GPT模型時,達到接近或超越 CUDA/NVIDIA 的效能。
AMD並強調Brium成功將其Deep Graph Library(DGL,一種 Graph Neural Network框架)移植到AMD Instinct平臺,有助於AMD方案打入醫學、生物科技、金融和製造領域。
Techcrunch分析,由於現行大部分AI專屬軟體,都是為Nvidia晶片和硬體設計。透過建立更大開放AI生態系,有助於AMD挑戰業界霸主Nvidia。