「每一隻App正逐漸變成AI化的App，」微軟執行長Satya Nadella強調，未來每一隻應用，都將是AI應用，但現在打造AI應用的技術架構，才剛起步，有待發展，還需要增加更多新功能所以，微軟將發展自家Copilot、Agent、Copilot Studio等應用背後的每一層技術打開，變成你我可用來打造AI應用的一套技術包，就是Copilot和AI技術架構。這套技術架構分為四層，最底層是基礎架構，其次依序是資料層、AI App平臺層，以及最上面的開發者工具和App服務層。隨著生成式AI爆紅之後，這兩年，微軟因應龐大AI需求，不斷地強化每一層的能力。但其中，AI App平臺層就是Satya所謂剛起步的技術層，這正是今年Ignite最大亮點發布，想要彌補的最弱一環。先來看其他三層的強化，基礎架構層指的是微軟Azure基礎架構，這兩年為了因應AI龐大、昂貴的算力需求和安全考量，微軟積極升級Azure基礎架構，甚至自己打造各種專用晶片、AI加速晶片，目標是將Azure打造成一臺世界電腦。講究性價比的微軟自製晶片Azure Cobalt 100今年正式開始提供，也正式推出自家研發的安全硬體裝置Azure Integrated HSM，預計明年部署到Azure每一臺伺服器來提高安全性。微軟更發表了第一款自製的資料處理器DPU，可以讓雲端儲存工作負載的用電減少三倍，但效能提升四倍。而在資料層的亮點是，微軟去年推出的通用分析性資料平臺 Fabric已有超過16,000名企業用戶，今年進一步將維運用的旗艦資料庫產品SQL Server整合到Fabric中，成為原生資料庫服務Fabric Databases，將維運資料和分析用資料集中到單一平臺中，來因應AI龐大資料量的需求。Azure資料庫服務也開始支援Bing搜尋所用的DiskANN向量索引，來提高AI搜尋的速度。而在開發者工具層，則在主流開發IDE中，持續增加更多AI輔助開發的能力和機制，從測試到部署，涵蓋到整個開發生命周期，都提供了不同階段的軟體開發AI助手，甚至可以協助所用開發框架的升版。打造AI時代的頂級應用平臺除了發展Copilot生態圈戰略之外，今年Ignite還有另一項重要的新戰略布局。「AI正在改變開發者設計、客製和管理App的方式，未來的應用，都是AI應用。」所以，Satya表示：「微軟打造了一套AI時代的頂級應用平臺，稱為Azure AI Foundry（AI鑄造廠）。」他解釋：「這個AI鑄造廠，包括了微軟所有的模型、工具、安全機制和監控解決方案，整併到單一平臺中，以獨立SDK和入口網站的形式，整合到主流開發工具中。」Azure AI Foundry主要構成這套Azure AI Foundry主要包括了一套Azure AI Foundry SDK和一個Azure AI Foundry入口網站（前身是雲端AI開發服務Azure AI Studio ）。前一代的AI應用開發平臺Azure AI Studio主要用於單一模型，單一POC驗證測試，也大多只能追蹤單一點的ROI成效。但是，新一代是通用型的AI應用開發平臺，專為多模型混用、流程自動化（或者說Agentic工作流程）和持續改善的設計。在模型目錄的支援廣度上，企業為了兼顧成本，效能，延遲性，往往需要依據不同的使用情況來挑選適用的模型。所以，Azure AI鑄造廠支援的模型多達1,800個，不只微軟自家模型，還加入了各種第三方商用模型，甚至是開源模型。特別的是，增加了20多個產業特定用途的模型，來自拜耳、西門子、洛克威爾自動化、數位醫療公司Paige、監理科技公司Saifr、自駕車軟體公司Cerence、製造分析軟體 Sight Machine等。AI鑄造廠還提供了一個模型實驗功能，可以讓企業以視覺化的方式，來比較不同模型的實測效果。在Azure AI Foundry中，搭配了一套Azure AI Agent Service，開發者可以用同一套Agent API方式，來使用上述破千種的模型，大幅簡化了企業混用和切換不同模型的複雜度，也能用相同的開發體驗來使用不同的開發工具、模型監控機制。更支援知名的多代理（Multi-Agent）開發框架，包括了Magentic-One、AutoGen、Semantic kernel，還，可以用來開發各種用途的AI應用，而不只是AI代理而已。不同於Low-Code開發工具Copilot Studio追求的一鍵快速完成開發，對開發者而言，更想要一款程式碼優先的AI代理開發工具，可以整合各種自帶資料、內部系統等。Azure AI Foundry提供了1,400多種資料連結器，更可以支援多種類型的資料來源，方便企業串接內外部系統上的資料來源。其他重要元件，像是Azure OpenAI服務、Azure AI內容安全性、Azure AI搜尋元件和多項可觀察性功能等。Azure AI Foundry SDK套件是通用型AI開發工具鏈Azure AI Foundry SDK套件是一個針對AI應用開發的通用型AI開發工具鏈，也可以用來整合不同主流開發工具，建立一套統一的開發者體驗，從AI專案的建立，統一各種服務與資料的串接，提供一個通用AI推論API來使用不同的模型，可用Azure AI搜尋功能將自家資料作為基礎參考來源，也提供了部署到Azure環境的預建置參考範本，可以快速建立一個AI應用專案需要的環境。Azure AI Foundry SDK是微軟Azure AI工具鏈中的共同關鍵基礎建設，可以讓使用不同微軟AI開發工具、Azure AI服務或是處於不同AI應用階段的開發者，都有一套共同的開發者體驗。圖片來源／微軟較早推出的微軟Azure OpenAI SDK，只是針對單一語言的OpenAI用戶端串接程式，包括了Python、.NET、JavaScript、Java和Go語言，而不是通用型開發SDK。過去幾年盛行的MLOps開發模式，主要開發者是資料科學家和機器學習工程師，主要用途是機器學習模型的研發，開發團隊共用資源包括了各種模型、資料、環境配置、特徵資料等，成效評估重點是準確性和敏感性，也經常從頭開始訓練模型。瞄準新一代GenAIOps開發典範的需求但是，新一代的GenAIOps開發典範截然不同，開發主角是AI工程師和App開發者，開發團隊需要共用LLM、各種AI代理、外掛、提示工程內容、API等，成效評估更需考慮到品質、偏差、正確性、成本、延遲等更多面向，大多不會從頭開始訓練模型，而更傾向於使用預訓練好的模型，進行微調或直接呼叫現成的各種雲端模型服務。微軟新發表的Azure AI Foundry，正是瞄準新一代GenAIOps開發典範而打造的AI應用開發平臺。
