微軟上星期公布Copilot AI助理新增多項代理人功能，包括深度研究（Deep Research）與搜尋、購物能力，並且具備為使用者執行多種任務。而幫用戶讀取螢幕內容的Copilot Vision也推向了Windows和行動版本。

微軟AI部門主管Mustafa Suleyman在微軟上周慶祝50周年時，宣布一系列Copilot功能。

Copilot Vision的電腦視覺能力可理解用戶正在讀取的螢幕內容，聽取使用者指令動作。去年10月公布時只整合於Edge瀏覽器中，現在正式推向Windows版及手機Copilot應用程式。Windows版Copilot可操作多種應用程式、瀏覽器分析和檔案，能讀取文件，解答用戶問題、翻譯、摘錄重點，提供分析洞見，或是搜尋、變更設定、組織檔案、協同專案作業，完全不需開關檔案或切換不同應用程式。而在手機上，Copilot Vision可以利用手機相機「看」周遭環境，或是分析手機串流的視訊或儲存的相片。例如用戶可以讓它判斷一下眼前的植物健康狀態，以及建議如何照護，或是掃視辦公室環境請它建議如何裝飾。

現在Copilot Vision將先推給測試方案Insiders用戶，之後逐步推向更多用戶。手機版Vision將部署到iOS及Android版Copilot App。

微軟也為Copilot AI助理加入多項代理人功能，包括當前最夯的Deep Research、Copilot Search in Bing、podcast等。一如Google Gemini、OpenAI ChatGPT，Copilot的Deep Research也可執行多步驟搜尋計畫，搜尋網上來源及大量文件與圖片，來完成複雜的研究任務。Copilot Search in Bing搜尋整合了傳統搜尋及生成式搜尋，Bing會交叉比對多個網站提供更完整的回答，加入引用來源及進一步搜尋建議。

此外，現在Copilot也加入了類似Google NotebookLM中的Audio Overview的功能，它能分析用戶提供的檔案或網站資訊，並生成個人化podcast，為用戶解釋主題，例如解說旅遊計畫、新的休閒活動、困難專案或學校作業。當用戶聽取podcast時還能持續和Copilot對話互動。

其他代理人功能包括可幫用戶研究及比較購物選項、並提供建議的Shopping、及將混亂想法整理成有系統文件的Pages。Copilot也提供Actions幫用戶訂表演票、訂餐廳或上網下單，合作店家包括1-800-Flowers.com、Booking.com、Expedia、Kayak、OpenTable、Priceline、Tripadvisor、Skyscanner、Viator和Vrbo。

微軟強調，隨著用戶和Copilot互動愈久，它會愈了解用戶喜好而提供更精準而個人化的協助。該公司預告正在開發一項Google、OpenAI等其他大廠沒有的個人化功能，允許用戶選擇Copilot外觀，如動物、水果或其他擬人化造型。