52CV 2024-10-17 13:14 江苏
关注公众号，发现CV技术之美
阿里团队近期在 GitHub 上正式开源了轨迹控制版的视频生成工具—— Tora。这一开源项目为学术界和开源社区提供了强大的工具，允许用户探索视频生成领域的无限可能。
Tora 基于先进的 DiT 框架，专注于轨迹控制的视频生成。在此次发布中，阿里团队提供了完整的代码与模型权重，供研究人员和开发者在学术环境中使用。
根据 GitHub 仓库中的 README 文件，由于阿里团队目前的商用计划，当前开放的版本仅为文生视频版本。
未来，团队还计划提供 ModelScope 的试用 demo、训练代码及完整版 Tora，让更多用户受益于其强大的功能。
Tora 的文生视频功能通过 Gradio 可视化界面展现，用户的操作过程极为简单。只需绘制任意数量的轨迹，并输入一段文本提示（prompt），便可生成为期 6 秒的轨迹控制视频。
用户可以选择使用提供的预设轨迹，或者自定义绘制轨迹，以实现更具个性化的效果。
demo展示：
从此次 github 仓库的 demo 中看，Tora 无论在处理直线轨迹还是螺旋曲线方面都表现出色。尤其令人印象深刻的是，当输入的文本提示中的物体未能与预设轨迹精确匹配时，Tora 仍能尽力保持物体的自然运动规律，确保其运动尽可能符合预设轨迹。这种趋于自然的效果使得生成的视频更具观看价值，极大地提升了用户体验。
如果您对这项技术感兴趣，欢迎访问其(https://github.com/alibaba/Tora)进行探索与尝试。
✑推荐阅读
最新 AI 进展报道
请联系：amos@52cv.net
END
欢迎加入「视频生成」交流群?备注：生成
