7月28日晚,繼上週阿里AI三連發後,阿里又扔出新的開源模型,電影級視頻生成模型通義萬相Wan2.2。Wan2.2直接將光影、色彩、鏡頭語言三大電影美學元素裝進模型,可以隨意組合60多個直觀可控的參數,大幅提升電影級畫面的製作效率。
據了解,Wan2.2此次共開源文生視頻(Wan2.2-T2V-A14B)、圖生視頻(Wan2.2-I2V-A14B)和統一視頻生成(Wan2.2-TI2V-5B)三款模型。
其中文生視頻模型和圖生視頻模型均爲業界首個使用MoE架構的視頻生成模型,總參數量爲27B,激活參數14B,均由高噪聲專家模型和低噪專家模型組成,分別負責視頻的整體佈局和細節完善,在同參數規模下,可節省約50%的計算資源消耗,有效解決視頻生成處理Token過長導致的計算資源消耗大問題,同時在複雜運動生成、人物交互、美學表達、複雜運動等維度上也取得了顯著提升。
Wan2.2還首創了電影美學控制系統,光影、色彩、構圖、微表情等能力媲美專業電影水平。例如,用戶輸入「黃昏」、「柔光」、「邊緣光」、「暖色調」「中心構圖」等關鍵詞,模型可自動生成金色的落日餘暉的浪漫畫面;使用「冷色調」、「硬光」、「平衡圖」、「低角度」的組合,則可以生成接近科幻片的畫面效果。