Nvidia周三(4/23)宣布全面推出NeMo平臺,該平臺是由許多微服務組成,它支援許多大型語言模型,並透過資料飛輪(Data Flywheel)來協助開發人員建置最先進的AI代理系統。
NeMo所整合的微服務,涵蓋了可加速大型語言模型微調的NeMo Customizer,只需呼叫5次API即可簡化基於客製化與產業評測的AI模型及工作流程評估的NeMo Evaluator,可在僅增加半秒延遲即提高1.4倍合規性保護的NeMo Guardrails。除了上述用來打造AI代理的關鍵元件外,開發人員亦可輔以用來協助AI於資料庫中找到正確知識的NeMo Retriever,以及用來訓練高度準確生成式AI模型的NeMo Curator。
至於資料飛輪(Data Flywheel)則是在企業導入AI模型之後,讓AI愈用愈聰明的機制,它指的是AI與環境互動的正向循環,例如當它與使用者互動時,可產生大量的對話紀錄及使用資料,經過NeMo Curator整理之後,再藉由NeMo Evaluator評估其表現,並透過NeMo Customizer進行微調,而使得模型變得更加準確,並且是在最少的人力干預及最大的自主性上實現。
Nvidia以資料飛輪的原理貫穿了NeMo平臺,讓AI可透過與使用者的互動不斷地自我強化,在Nvidia AI Enterprise軟體平臺上部署的NeMo不僅容易操作,而且可在任何加速運算基礎設施上執行,包括本地端及雲端。
大型企業可能建置多達數百個不同功能的AI代理,例如自動詐欺檢測、購物助理、預測性機器維護或是文件審查等。其中,AT&T已與Arize及Quantiphi合作,利用NeMo打造了一個先進的AI代理,得以處理近萬份且每周更新的企業知識文件。AT&T結合了NeMo Customizer與Evaluator,並針對Mistral 7B進行微調,以實現個人化客服,預防詐欺及網路效能優化,整體AI回應準確率提升了40%。
NeMo微服務支援各種熱門的開源模型,包括Llama、Microsoft Phi、Google Gemma、 Mistral與Llama Nemotron Ultra等。
目前Meta已透過替Llamastack新增連接器來導入NeMo,諸如Cloudera、Datadog、Dataiku、DataRobot、DataStax、SuperAnnotate及Weights & Biases等AI軟體供應商,亦已於自家平臺整合NeMo。