AI & Big Data 04月01日 16:27
Amazon發表瀏覽器AI代理Nova Act
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

亚马逊发布了Amazon Nova Act模型及其SDK预览版,旨在提高网页浏览器任务的可靠性。Nova Act专注于构建可靠的基础构件,使其能够被组合成更复杂的工作流程。在内部评估中,Nova Act在日期选择、下拉菜单和弹出窗口等任务上的准确率超过90%,优于其他模型。通过Nova Act SDK,开发者可以构建在浏览器中完成任务的代理程序。目前,Nova Act已应用于Alexa+,当整合的服务无法提供所有必要API时,Nova Act能够自动浏览网页,为用户完成任务。

💡Nova Act的核心在于其可靠性,亚马逊内部评估目标是让其他模型难以完成的任务达到90%以上的准确率,例如日期选择、下拉式功能表与弹出窗口等。

🌐Nova Act在与网页文字、图标和各种互动元素交互的能力上表现出色。在ScreenSpot Web Text和ScreenSpot Web Icon测试中,Nova Act分别以0.939和0.879的成绩超越了Claude 3.7 Sonnet与OpenAI CUA。

🛠️Nova Act SDK允许开发者将复杂的工作流程分解为可靠的原子命令,如搜索、结账等。开发者可以添加详细说明、调用各种API,或使用Playwright直接操作浏览器,以增强可靠性。

🎮Nova Act展现了跨环境理解能力,即使没有电玩经验,似乎也能在网页游戏等新环境中成功运作。目前,该模型已应用于Alexa+,提升了用户体验。

Amazon今日(4/1)發表可於網頁瀏覽器中執行各種任務的Amazon Nova Act模型,以及供開發人員存取該模型的Amazon Nova Act SDK預覽版。

相較於其它模型,Nova Act強調的是可靠度,專注於可被組合成更複雜工作流程的可靠基礎構件。Amazon表示,許多代理人的基準測試是用來衡量高階任務的模型效能,其中,最先進的模型在完成網頁瀏覽器任務時可實現30%~60%的準確率,然而,代理人必須可靠才能真正發揮作用,因此Amazon的內部評估鎖定的是讓那些其它模型無法實現的功能達到90%以上的分數,例如日期選擇、下拉式功能表與彈出窗口等。

Amazon比較了Nova Act、Claude 3.7 Sonnet與OpenAI CUA在與網頁文字互動(ScreenSpot Web Text)、與網頁上的圖示互動(ScreenSpot Web Icon),以及與網頁上各種互動元素互動(GroundUI Web)的能力,顯示它在前兩項分別以0.939及0.879的成績超越其它兩個模型,GroundUI Web也有0.805的成績,微幅落後競爭者。

注重可靠性的結果是一旦一切正常運轉,就不必觀察它執行每一個操作,將代理人變成能夠整合到產品中的API,甚至可依據所需的任何時間表異步執行。

Nova Act SDK則讓開發人員能夠將複雜的工作流程分解為可靠的原子命令,不管是搜尋、結帳,抑或是回答有關螢幕的問題,也能在需要時替這些命令添增更詳細的說明,呼叫各種API,或是交替使用Playwright直接操作瀏覽器來強化可靠性,並可嵌入Python程式碼來進行測試、斷點,或是用於平行處理的執行緒池。

因此,透過該SDK,開發人員即能建立可於瀏覽器中完成任務的代理程式,像是於內部系統中提交外出辦公的請求,空出日曆以顯示即將外出辦公,以及發送外出辦公的電子郵件。

Amazon表示,儘管Nova Act仍處於早期階段,但他們已對該模型的跨環境理解能力感到訝異,例如雖然沒有任何電玩經驗,但它似乎也能在網頁遊戲等新環境中成功運作;目前該公司已在Alexa+中採用Nova Act,當所整合的服務無法提供所有必要API時,Nova Act可自動瀏覽網路,代表使用者完成任務。

對Nova Act功能有興趣的開發人員,可透過Amazon新成立的Nova入口網站取得Nova Act SDK研究預覽版。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Amazon Nova Act 浏览器任务 可靠性 SDK
相关文章