AI & Big Data 03月12日
eBay升級AI開發平臺以支援自建3兆Token的LLM,下一步要蒸餾出多個小模型以降低應用成本
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

eBay近期公布了其2024年在AI技术方面的进展以及2025年的发展计划。2024年,eBay大幅升级AI平台,构建了规模是去年百倍的LLM,并推出了多种生成式AI功能,包括为卖家提供的自动商品描述生成、背景图片生成、图片去背等功能,以及为买家提供的个性化服饰推荐和更精准的预计到货时间等。2025年,eBay将致力于训练更大更成熟的模型,并将其提炼成更小、更专业的模型,以降低成本并提高效率,重点关注顾客体验、商品营销和广告应用。

🚀eBay在2024年大力投资AI基础设施,包括自建超级电脑和升级AI开发平台Kyrlov,该平台由特征平台、实验平台、训练平台和推理平台组成,旨在构建和运行比2023年大100倍的LLM。

⚙️为解决硬件资源分配的痛点,eBay取消了项目环境必须预先设定硬件的模式,改为系统自动分配资源,并引入Ray框架的Remote CPU功能,调度更多外部CPU资源,使GPU利用率提升4倍,单位时间数据吞吐量提升7倍。

✍️eBay推出一系列面向卖家的生成式AI应用,如自动商品描述生成、商品背景图片生成和社交媒体贴文生成等,已有超过1千万卖家使用,上架了上亿件商品,带来了数十亿美元的交易额。

🛍️eBay也为买家推出了个性化服装推荐、虚拟试穿和更精确的预计送达时间等功能,以提高购买意愿。这些功能有助于最近的假日购物季销量超出预期。

🎯在2025年,eBay计划训练更大更成熟的模型,并将其精简为更小的模型,针对特定用途进行微调,以提高精度并降低成本,主要关注客户体验、产品营销和广告应用。

C2C電商龍頭eBay近期揭露自家2024年AI技術發展與成果,以及2025年技術發展計畫。eBay CEO Jamie Iannone表示,2024年是他們AI技術顛覆性的一年,大幅升級AI平臺,以支援他們打造出相較去年百倍規模的LLM,並推出多種生成式AI買家與賣家功能。今年則要在持續發展AI技術同時,找出更低價、更快速、更有效率的GenAI應用方法。

投資硬體效能並改版AI開發平臺

2024年,eBay為發展生成式AI,不只投資硬體設備,啟用了一臺自有的超級電腦,更大幅翻新AI開發平臺,以從頭自建並執行比2023年規模大上100倍的LLM,包括用3兆個Token訓練而成的多模態、多語言模型。

eBay自家AI平臺Kyrlov底層有4個小平臺,特徵平臺(Feature Store)、實驗平臺、訓練平臺及推論平臺。2024年,他們鎖定數個訓練平臺及推論平臺的痛點,導入新技術與做法來解決。

首先是個別專案的硬體資源配給設定無法更改。過往在訓練平臺與推論平臺開啟新專案時,工程師須先設定配給專案開發環境的算力及記憶體。一旦設定,就無法更改。這種模式,使專案無法在資源不足時增加硬體,更無法於霸占過多硬體時釋出資源。這使eBay硬體資源利用率非常低,有些專案甚至會出現不到10%利用率的情況。開始大規模發展硬體需求高的生成式AI專案後,此問題帶來的衝擊尤其顯著。

eBay的解法是,先從專案環境設定開始做起,取消必須先設定專案環境硬體的模式,改用系統自動配給硬體資源。同時,設定標準GPU SKU規格,規定一個GPU可以使用的記憶體上限。

再來,導入新技術來進一步提升硬體調度彈性及使用效率。導入新技術框架,強化GPU多工能力,提升個別GPU使用效率。並且,導入優先級調度(Preemption)做法,讓更高優先度的推論作業,可以搶占低優先度開發作業的硬體資源,來進一步提升調度彈性。另外,他們還導入新的資料串流技術,來增加數據傳輸效率。這一系列解法,提升了2至4倍GPU數據吞吐量。

第二個痛點也與硬體資源調度有關。過往,eBay使用GPU節點,只會配置固定數量CPU。也就是說,當eBay訓練或推論作業中,所需CPU數量大於節點上的GPU,就會降低作業效能,或需要啟用更多節點,但過程中浪費GPU資源。

他們的解法是,導入Ray框架的Remote CPU功能,調度更多外部CPU資源來支援,進而避免啟用更多節點,而導致GPU閒置。導入後,相關作業的GPU利用率提升4倍、單位時間數據吞吐量更提升7倍。

第三個痛點是訓練與推論作業所使用的開發語言不同,模型開發工程師使用Python,推論作業的工程師使用Java。這使他們需要花費高達一半的開發時間,進行來回溝通、語言間轉換、邏輯改寫等作業。導入Ray框架時,他們也使用了Ray的Unified Pythonic API,將兩種開發流程使用的語言統一為Python,省去前述作業時間,更簡化了運算資源調度及整體作業流程管理。

提升AI開發效率、硬體調度效率及整體可運用硬體數量,使eBay在2024年不只推出新模型,也用生成式AI提升平臺上不同作業流程,更能上線了許多生成式AI應用。

eBay 2024到2025年怎麼用生成式AI

2024年,eBay推出一系列賣家用的生成式AI應用,包括可以自動化根據圖片來批量撰寫商品描述並上架商品的功能、根據自然語言描述來生成商品背景圖片的功能、商品圖片去背功能、社群媒體貼文生成功能等。

Jamie Iannone表示,已經有超過1千萬個賣家使用過這些新GenAI功能,用來上架上億件商品,帶來了數十億美元的平臺交易額。賣家對於這些工具的滿意度也超過了90%。

他們也針對買家推出一系列GenAI和AI功能,以期提升購賣意願。這些功能包括個人化服飾推薦及模擬試穿功能、更準確的預計到貨時間估算,以及在搜尋中提升快速到貨商品能見度等。Jamie Iannone說,這些功能,使最近的年底購物季買氣超出eBay預期。

eBay也將生成式AI用於客服、工程、商品搜尋、支付、行銷等,數十種場景的底層技術改善。一個例子是,他們利用Google Vertex AI及Vector Search功能,來強化自家推薦系統,用於多模態嵌入向量的快速生成、推論延遲降低,及開發效率速度提升。最後一項效果尤其顯著,原本在推薦系統中測試並啟用新模型的開發周期,從數月降低到兩周。

不只自家開發,eBay也積極與外部合作開發電商GenAI功能,包括與OpenAI的代理人功能Operator合作,使其能推薦eBay商品,甚至直接代為購買商品。

2025年,Jamie Iannone揭露,他們將訓練較前一年更加大型且成熟的模型。接著,將這些大型模型蒸餾成一個個較小的模型,根據專門用途微調,再投入實際應用。這樣一來,才能在提升專門用途的精準度同時,降低推論延遲及成本。目前,他們已經在5個核心電商功能實驗,投入了規模僅有原本模型1/8的小型模型,卻提升30%精準度,且延遲時間只剩1/10。

至於將生成式AI投入哪些應用,eBay目前聚焦於顧客體驗類應用、商品行銷類應用、以及廣告類應用。他們年報寫到,目前公司一大目標是提升自家營運的廣告營收,降低站內站外第三方廣告占比。目前行銷與廣告類的一大重要應用是賣家用廣告儀表板,呈現廣告相關表現數據,並用生成式AI與AI來呈現相關分析、建議策略、趨勢洞察等資訊。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

eBay 人工智能 生成式AI 电商 LLM
相关文章