AI & Big Data 03月11日
AI21發表企業級AI規畫與調度平臺,解決LLM輸出不穩定的問題
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

以色列AI公司AI21 Labs推出企业级AI规划与调度平台Maestro,旨在解决大型语言模型输出不确定性的挑战。Maestro通过动态任务规划、自动调度与实时验证等技术,降低LLM输出的不稳定性和不可预测性,助力企业将生成式AI落地至业务流程。其核心技术是将提示词拆解为任务指令和验证需求,监控和验证模型生成内容,以动态树状结构建立多条生成路径,并根据预设标准验证每个候选项,持续优化结果,确保输出满足用户需求。

🧩 Maestro平台的核心在于将单一提示词拆解为任务指令词与验证需求两部分,并在模型推理阶段进行监控与验证,这与传统的一次性生成结果的方法不同。

🔄 系统采用动态树状结构,建立多条生成路径,同时生成多个候选项,并根据预设标准进行验证,不合格的结果会被淘汰或修正,直至输出满足用户需求。

🔍 Maestro内部会依据任务需求动态调整生成策略,包括采用Best-of-N策略(针对同一问题产生多个候选项并选择最佳方案)和Generate-and-Fix策略(针对接近需求的候选项进行多次迭代修正),提高模型结果的准确性和稳定性。

📚 系统支持外部工具整合,例如通过检索增强生成(RAG)机制整合企业内部知识库或外部数据源,进一步提高输出结果的正确性。

企業導入大型語言模型應用面臨輸出不確定性的挑戰,難以掌控模型實際行為,增加了系統驗證與維護的負擔。針對這個問題,以色列人工智慧公司AI21 Labs推出名為Maestro的企業級人工智慧規畫與調度平臺,透過動態任務規畫、自動調度(Orchestration)與即時驗證(Validation)等技術,降低大型語言模型輸出的不穩定性與不可預測性,協助企業將生成式人工智慧落地至業務流程中。

Maestro的核心技術特點是將單一提示詞拆解成任務指令詞與驗證需求兩部分,並在推論階段監控與驗證模型生成的內容。這種機制不同於過去仰賴模型一次性產出結果,而是以動態樹狀結構建立多條生成路徑。系統會同時生成多個候選輸出,並根據預設標準驗證每個候選方案的正確性,持續淘汰或修正不合格的結果,直到最終輸出完全符合使用者設定的需求條件。

Maestro內部會依據任務需求動態調整生成策略,包括在廣度上採用Best-of-N策略,也就是針對同一問題同時產生多個候選結果,再選取最佳方案,以及在深度上運用Generate-and-Fix策略,針對接近需求的候選輸出進行多次迭代修正。透過交錯運用這兩種方法,有效提高模型結果的準確性與穩定性。此外,系統也支援外部工具整合,例如透過檢索增強生成(RAG)機制整合企業內部知識庫或外部資料來源,進一步提高輸出結果的正確性。

使用者藉由Maestro的執行追蹤(Execution Trace)與驗證報告機制,可掌握系統運作細節,其詳細呈現每一步生成過程、執行策略選擇以及驗證結果。使用者可根據報告即時掌握模型決策的依據與執行情形,進一步調整與改進系統運作規則,避免企業內部人工智慧應用成為難以維護的黑盒子。

AI21 Labs表示,Maestro已經在複雜推理應用、內部文件生成、資料整合及嚴格格式控制等場景獲得驗證,例如具多步驟推理與多文件檢索的FRAMES基準測試中,Maestro的動態規畫與驗證架構大幅提高了正確率。透過內建的LLM-as-a-Judge及程式化驗證兩種驗證機制,可將企業特定的驗證邏輯直接導入生成流程,確保輸出結果嚴謹符合業務或法規要求。

在實際應用上,企業可根據具體需求定義驗證條件,包括格式限制、內容規範、語氣控制或其他特殊需求,Maestro系統將在生成過程中持續驗證並自動修正,直到滿足設定要求或預算資源耗盡為止。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Maestro平台 AI21 Labs 大型语言模型 企业应用 AI稳定
相关文章