人工智慧浪潮帶來的資料中心與邊緣運算加速運算市場商機，不讓Nvidia、Arm、Intel、AMD等廠商專美於前，高通（Qualcomm）發展AI推論加速卡Cloud AI 100，在2020年9月首批產品出貨，當時供應3種組態：熱設計功耗75瓦、INT8整數運算400 TOPS的半高半長PCIe介面卡，熱設計功耗25瓦、INT8整數運算200 TOPS的雙M.2介面卡，以及熱設計功耗15瓦、INT8整數運算70 TOPS的雙M.2e介面卡，預計10月供應邊緣運算開發套件Qualcomm Cloud AI 100 Edge Development Kit。 之後幾年，MLCommon皆持續公告Qualcomm Cloud AI 100的效能測試結果，而且，是專攻AI推論處理效能呈現的MLPerf Inference（MLPerf Inference Edge與MLPerf Inference Datacenter的1.0版、1.1版、2.0版、2.1版、3.0版、3.1版、4.0版），這些效能測試結果不只來自高通，也包括多家系統廠商。以MLPerf Inference Datacenter為例，像是伺服器廠商技嘉（R282-Z93、G292-Z43）、Dell（PowerEdge R7515）、HPE（ProLiant DL385 Gen10 Plus v2）、聯想（ThinkSystem SR670 V2），以及率先採用這款AI加速卡、提供執行個體服務的公有雲業者AWS（Amazon EC2 DL2q），都提交搭配Qualcomm Cloud AI 100的效能測試結果。值得注意的是，從2022年4月發表的MLPerf Inference 2.0開始，我們看到廠商送測的Qualcomm Cloud AI 100效能測試結果當中，出現搭配Pro款式的系統，之後出現搭配Standard款式的系統；而在2023年4月公布的MLPerf Inference 4.0，Qualcomm Cloud AI 100的效能測試結果，首度出現搭配Ultra款式的系統（聯想ThinkSystem SR670 V2）。半年後，高通正式推出Qualcomm Cloud AI 100 Ultra，標榜這款產品採用該公司設計的AI核心，相較於上一代產品（應指雙M.2版本的Cloud AI 100），可提供4倍的效能。而且，企業與組織可透過熱設計功耗150瓦、內建64顆AI核心的單張Qualcomm Cloud AI 100 Ultra配置，支援1千億個參數的AI模型處理，也能以兩張這樣的高性能加速卡，支援1,750億個參數的AI模型處理；或是透過更多張加速卡的設置，搭配高通建構的AI軟體技術堆疊Qualcomm AI Stack，以及AI軟體開發套件Qualcomm Cloud AI SDK，支援更大規模的AI模型處理。關於伺服器廠商的採用上，HPE率先宣布將支援Qualcomm Cloud AI 100 Ultra，可用於ProLiant Gen11世代伺服器，以單臺2U尺寸伺服器而言，最多能搭載8張Qualcomm Cloud AI 100 Ultra，以AI加速器最佳化技術，因應自然語言處理（NLP）等生成式AI工作負載，預計2024年上半提供HPE整合的這類產品，並且公布售價（編按：根據HPE網站公布資訊，目前主推的Qualcomm Cloud AI 100應該仍是第一代產品）。另一個Qualcomm Cloud AI 100 Ultra的特色，在於具有出色的性價比。高通表示，比起其他廠商的產品，Qualcomm Cloud AI 100 Ultra用於大型語言模型、自然語言處理，以及電腦視覺類型的工作負載，就單位總體成本而言，可提供2至5倍的效能，帶來更大的投資報酬率。到了2025年1月的全球年度消費電子展，Qualcomm Cloud AI又向市場展現新的應用形式！高通宣布推出整合應用設備，名為Qualcomm AI On-Prem Appliance Solution，當中搭配硬體加速卡Qualcomm Cloud AI，以及橫跨邊緣至雲端環境使用的AI推論軟體與服務套餐Qualcomm AI Inference Suite。 就整臺應用設備而言，目前有兩家廠商提供這類解決方案，一家是聯想，以2021年底推出的伺服器SE450，以及2023年7月推出的SE360 V2，作為硬體設備平臺，另一家是宜鼎集團子公司安提國際（Aetina），以2024年上半發表的MegaEdge PCIe系列的AIP-FR68、AIP-KQ67，作為硬體設備平臺。若只看硬體加速卡，高通也首度列出Qualcomm Cloud AI 100現行3種款式的規格資訊比較。以目前而言，我們只能從該公司的網站看到Cloud AI Ultra產品簡介，不過，也可以找到一份文件提及Cloud AI Pro、Cloud AI Standard，以及第一代三種款式比較的規格。透過Qualcomm AI On-Prem Appliance Solution這樣的產品組合，高通認為，可協助中小企業、大型企業或不同產業、組織，在他們維運與管理的內部環境，建置自行設計或套裝的AI應用系統，藉此大大節省營運成本與總體支出，而不需向第三方業者承租AI基礎架構。產品資訊Qualcomm Cloud AI 100 Ultra●原廠：Qualcomm●建議售價：廠商未提供●I/O介面：PCIe 4.0 x16●外形：全高3/4長PCIe介面卡●運算核心：4顆系統單晶片（64顆AI核心）●AI核心之間頻寬：186 GB/s●晶片製程：7奈米●搭配記憶體：裸晶內建SRAM記憶體576 MB（每顆AI核心搭配9 MB），介面卡內建DRAM記憶體128 GB LPR4x，頻寬為548 GB/s●SRAM記憶體容量：576 MB●可處理資料型別：INT8、FP16、FP32、BF16●運算效能：INT8為870 TOPS，FP16為288 TFLOPS●耗電量：150瓦【註：規格與價格由廠商提供，因時有異動，正確資訊請洽廠商】
