三花AI 2024年10月23日
Stable Diffusion 3.5 发布;Runway 推出无需设备面部表情同步技术;可商用开源视频生成模型;无限创意画布
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文介绍了多种AI领域的新成果,包括可商用开源视频生成模型Allegro、Ideogram的Canvas功能、Anthropic的系列更新、SAI发布的Stable Diffusion 3.5、Runway推出的Act-One以及Genmo发布的Mochi 1等,涵盖了视频生成、图像设计、模型性能提升等方面。

🎬 Allegro是基于Apache2.0协议的开源视频生成模型,可根据提示词生成720p 15fps的6秒视频,用于商业用途,虽参数只有8B,但视频质量中规中矩。

🎨 Ideogram推出Canvas功能,是专用于组织、生成、编辑和组合图像设计的创意画布,新增魔法填充和一键扩图功能,支持API调用,但需订阅使用。

💻 Anthropic发布一系列更新,包括升级版Claude 3.5 Sonnet,新模型Claude 3.5 Haiku及computer use功能,允许Claude像人一样操作电脑,但目前成功率不高。

🚀 Genmo发布Mochi 1视频模型,是当下视频模型的天花板,极大缩小与商业模型差距,需4块H100显卡运行,官方提供在线试用,480P版本已发布,HD版本即将推出,且完全可商用。

🤖 Runway推出Act-One,是在Gen-3 Alpha中引入的新功能,只需一个视频,可将面部表情自然绑定到任意角色上,无需额外设备,该功能尚未放出。

原创 小茸茸 2024-10-23 09:25 重庆

开源视频模型的天花板 Mochi 1;Allegro可商用开源视频生成模型;computer use 、新版 Claude Sonnet 3.5、和全新 Haiku 模型;Runway 推出 Act-One;Ideogram 无限创意画布

Allegro:可商用开源视频生成模型

Allegro[1] 是一个基于 Apache2.0 协议的开源视频生成模型,能够根据提示词生成 720p 15fps 的 6 秒视频,可用于商业用途。虽然只有 8B 参数,但视频质量还算中规中矩吧。

Ideogram 推出 Canvas 功能:无限创意画布

Ideogram 刚刚推出了 Canvas[2] 功能,这是一个专用于组织、生成、编辑和组合图像设计的创意画布。此外,还新增了魔法填充和一键扩图功能,并且都支持 API 调用,不过这些功能都需要订阅才能使用。自从 OpenAI 推出类似功能后,各大厂商纷纷跟进,管他呢,先蹭上,哈哈哈。

computer use 、新版 Claude Sonnet 3.5、和全新 Haiku 模型

Anthropic[3] 最近发布了一系列更新,主要包括:

    升级版 Claude 3.5 Sonnet:能力进一步提升,超越了 OpenAI 的 o1。

    新模型 Claude 3.5 Haiku:性能与 Claude 3 Opus 相当,但成本更低、速度更快。

    computer use:允许 Claude 像人一样操作电脑,包括阅读屏幕、移动鼠标、点击按钮和打字。这个功能本质上是调用 Claude API 来自动化操作电脑,有点像下一代 RPA?不过目前还很早期,成功率不高。

SAI 发布 Stable Diffusion 3.5

SAI 发布了 Stable Diffusion 3.5 Large 和 Stable Diffusion 3.5 Large Turbo。Stable Diffusion 3.5 Medium 将于 10 月 29 日发布!更多详细内容建议看官方的更新日志[4]

SAI 官方很有意思,之前 SD3 没法生成躺着的美女,这次封面图直接就是一个躺在地上的美女。另外自从上次开源协议争议,这次长记性了,可以有限制(小于1M收入)的免费用于商业和非商业用途了!

Runway 推出 Act-One:无需设备的面部表情同步技术

Act-One[5] 是 Runway 在 Gen-3 Alpha 中引入的一项新功能。只需一个视频,即可将面部表情生动自然地绑定到任意角色上,无需任何额外设备。目前还没放出这个功能,很期待呀,你们怎么看?

Genmo 发布 Mochi 1:开源视频模型的天花板

Mochi 1[6] 是由 Genmo[7] 发布的视频模型,从演示效果来看,从演示来看应该是当下视频模型的天花板,极大的缩小了与商业模型的差距。该模型需 4 块 H100 显卡即可运行,并且官方提供了在线试用[8],虽然需要排队等待。

根据官方的基准测试,Mochi 1 的表现优于可灵、Luma、Pika 等商用模型。值得一提的是,此次发布的仅是 480P 版本,更强大的 HD 版本也即将推出。最牛逼是,该模型基于 Apache 2.0 协议,完全可商用!


如果你喜欢《一觉醒来 AI 界发生了什么》系列的话,请 关注点赞在看收藏分享 五连警告,这对我真的很重要

现在加入 AI 日报群,不会漏掉消息嗷

Reference

[1]

Allegro 开源视频生成模型官网: https://x.com/huggingface/status/1848776227814768725

[2]

Ideogram Canvas 功能介绍: https://x.com/ideogram_ai/status/1848757699606983143

[3]

Anthropic 更新日志: https://www.anthropic.com/news/3-5-models-and-computer-use

[4]

Stable Diffusion 3.5 官方更新日志: https://stability.ai/news/introducing-stable-diffusion-3-5

[5]

Act-One 功能介绍: https://x.com/runwayml/status/1848785907723473001

[6]

Mochi 1 视频模型: https://huggingface.co/genmo/mochi-1-preview

[7]

Genmo 官网: https://www.genmo.ai/

[8]

在线试用 Mochi 1: https://www.genmo.ai/play


阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

AI成果 视频生成 图像设计 模型更新
相关文章