B站升级动画视频生成模型Index-AniSora技术并开源，支持番剧、国创、漫改动画、VTuber、动画PV、鬼畜动画等多种二次元风格视频镜头一键生成！

整个工作技术原理基于B站提出的 AniSora: Exploring the Frontiers of Animation Video Generation in the Sora Era（https://arxiv.org/abs/2412.10255）实现，该工作已经被IJCAI25接收。在此基础上进一步提出了首个专为二次元视频生成打造的强化学习技术框架，全面提升动画内容的生产效率与质量 Aligning Anime Video Generation with Human Feedback（https://arxiv.org/abs/2504.10044）

所有的工作全部开源！快戳地址：https://github.com/bilibili/Index-anisora/tree/main

模型链接：

https://modelscope.cn/models/bilibili-index/Index-anisora

体验链接：

https://modelscope.cn/studios/bilibili-index/Anisora

体验小程序：

上Demo！

喜欢的漫画一键出动画效果，支持多种小众画风，效果更加丰富，从此告别“PPT动画”

1. 动漫奖励数据集构建

为了增强数据集的动作类别多样性，研究团队收集的视频样本涵盖多种动作类别，包括说话、行走、挥手、亲吻、哭泣、拥抱、推拉等典型行为场景。通过人工标注，研究团队从 100 多种常见动作中总结出标准化的动作标签，对每个标签收集约 30～50 个视频片段，最终得到 5000 条真实动漫视频作为基础数据源。在文本提示词的设计方面，研究团队采用 Qwen2-VL 模型[1]对视频打标自动生成提示词，并使用 CogVideoX[2]中提出的提示词优化策略，生成文本提示。

原始图像采用每个视频的第三帧，以作为图像到视频生成的输入。基于这些提示词和原始图像，研究团队使用了 5 个先进的图像到视频生成模型（Hailuo、Vidu、OpenSora[3]、OpenSora-Plan[4]和 CogVideoX[2]），生成多样化的动漫视频。结合初始的 5000 条GT视频，研究团队构建了一个包含 30000 条动漫视频的奖励数据集，用于奖励模型的训练。此外，研究团队还构建了一个包含 6000 条动漫视频的测试集，并严格保证测试集与训练集在初始图像和提示内容上无重叠，以确保测试评估的准确性与泛化性。

为了全方位评估生成动漫视频的质量，人工标注从两个方面衡量视频质量：视觉外观与视觉一致性。其中，视觉外观主要衡量视频的基础质量，关注其视觉表现，包括视觉的平滑度（visual smoothness）、运动幅度（visual motion）以及整体的视觉吸引力（visual appeal）；而视觉一致性则更加侧重于多模态之间的协调性，具体包含文本与视频的语义对齐（text-video consistency）、图像与视频的时空一致性（image-video consistency），以及动漫角色在视频中的稳定性（character consistency）。研究团队共邀请了 6 名专业标注人员参与标注过程，对每段视频从上述 6 个维度分别打分，评分范围为 1 到 5 分，5 分表示质量最佳。每个维度的最终得分由所有标注者的打分取平均值，以确保评价的客观性和鲁棒性。

2. AnimeReward训练

与依赖单一视觉-语言模型（VLM）统一训练回归所有维度的奖励分数的方法不同，AnimeReward 对不同维度使用专门的VLM，通过奖励分数回归分别训练它们。

2.1 Visual Smoothness

对于动漫视频的视觉平滑度评估，研究团队基于Mantis-8B-Idefics2模型[5]，微调其视觉编码器，并在其后接入一个回归头，来让模型输出拟合人工打分结果。给定一个视频，研究团队的模型的平滑度评分机制如下：

2.2 Visual Motion

研究团队基于 ActionCLIP[6] 构建了一个动作评分模型，用于评估动漫视频中主要人物的运动幅度。在模型训练过程中，研究团队设计了一系列动作提示语（motion prompts），用于引导模型学习不同运动幅度的语义表达。例如：

“主角在视频中有大幅度动作，如奔跑、跳跃、跳舞或挥手。”

“主角在视频中保持静止，没有明显的动作。”

最终，模型根据输入视频与预设动作提示语之间的余弦相似度，计算出动作评分：

2.3 Visual Appeal

视觉吸引力用于评估生成视频的基础质量，侧重于其整体美学表现。以往研究通常采用在真实世界图像数据集上训练的美学评分模型来进行评估。然而，这类模型在应用于动漫视频时效果不佳，不同方法生成的视频在评分上差异不明显，难以体现真实的美学偏好差异。为了解决这一问题，研究团队首先从视频中提取关键帧，然后对它们进行编码，训练一个美学回归模型来学习人类对动漫图像的审美标准，从而更精准地评估其视觉吸引力。吸引力评分的计算公式如下所示：

2.4 Text-Video Consistency

为了评估文本与视频的一致性，研究团队利用动漫文本-视频对，微调了视觉编码器与文本编码器，并在其上接入回归头，以学习文本与视频之间的语义对齐程度。文本-视频一致性分数的计算公式如下：

2.5 Image-Video Consistency

在图像到视频生成任务中，生成视频应与输入图像尽量保持外观上的一致性。类似于文本-视频一致性的评估方法，研究团队微调了视觉编码器与回归头，对图像与视频之间的外观一致性进行建模评分：

2.6 Character Consistency

在动漫视频生成中，角色一致性是一个重要的因素。如果主角的身份和风格在视频中发生变化，即使视频质量较高，也可能存在侵权风险。因此，研究团队设计了一套系统性流程来评估角色一致性，流程包括：角色检测、分割与识别等多个阶段，该模型的框架如图2所示。具体而言，研究团队首先使用 GroundingDINO[7]、SAM[8] 以及追踪工具，对视频中的每一帧提取角色的掩膜（mask）。随后，研究团队使用 BLIP[9] 模型进行微调，以学习提取的人物掩膜与其对应的动漫角色（IP）之间的关联。

在推理阶段，研究团队通过计算生成视频中的动漫角色特征与角色库的对应特征之间的余弦相似度，来衡量角色在视频中的一致性。具体评分方式如下：

图2 角色一致性训练和推理框架

通过对人类偏好的学习，AnimeReward 能够为动漫视频生成对齐提供高质量的偏好反馈信号，提升视频生成模型的整体表现与人类认知的一致性。

3. 动漫视频生成对齐

通过在对齐训练中显示引入偏好差距信息，GAPO 在优化时显著放大了偏好差异明显的样本对的影响，同时抑制了偏好差异较小的样本对的干扰，从而更高效地提升模型对人类偏好的对齐能力，特别是在动漫视频生成这类主观性强的任务中具有重要意义。

数据集

VBench-I2V [11]基准的评测结果如表1所示，研究团队提出的偏好对齐方法在总分上取得了最优表现，在几乎所有评估指标上均显著优于基线模型，并在大多数情况下超越了 SFT（监督微调）模型。值得注意的是，在 I2V Subject 和 Subject Consistency 两个关键指标上的提升尤为显著，表明研究团队的对齐方法能够帮助视频生成模型在保持动漫角色一致性方面具备更强的能力。

如表2所示，在 AnimeReward 评价体系下，除 Visual Motion 外，研究团队的方法在所有维度上均实现了大幅提升，说明研究团队的对齐模型在视觉外观与一致性方面更贴近人类偏好。在 VideoScore [12]评估中，研究团队的方法在三个维度上均优于基线模型与 SFT 模型，表现出更好的视觉质量和时序稳定性。同时，研究团队也观察到了，在动态程度（即 Visual Motion/ Dynamic Degree）这一指标上，对齐后的模型表现略逊于基线与 SFT 方法。对此，研究团队认为，高动态程度的视频更容易引发空间扭曲与伪影，从而大大降低整体视觉质量，对人类主观偏好产生负面影响。这一结果也表明，人类通常喜欢具有更高视觉质量、更强一致性与更好稳定性的视频内容，而非单纯追求高动态幅度的生成结果。

表1 在VBench-I2V上的定量性能比较

表2 在AnimeReward和VideoScore上的量化性能比较

图3展示了人工评测的对比实验结果，研究团队的对齐模型相较于基线模型与 SFT 模型展现出显著优势，整体胜率超过 60%。尽管 SFT 模型使用了偏好分数最高的优质样本进行训练，但其生成视频的质量并未得到明显提升，甚至在人工评测中的胜率低于基线模型。

图3 不同模型生成的动漫视频的人工评测结果

消融研究

为验证研究团队提出的差距感知偏好优化（GAPO） 相较于传统DPO的优势，研究团队在保持实验设置一致的前提下，仅更换偏好优化算法，进行对比实验。研究团队在前述三种评价体系上对不同模型进行了系统评估，实验结果如表3所示。其中，AnimeReward（AR） 和 VideoScore（VS） 的最终得分为各维度得分的平均值。从结果来看，GAPO 在三个评价体系中均取得了最优表现，尤其在 VBench-I2V（V-I2V） 和 AnimeReward（AR）上相较 DPO 获得了显著提升。

表3 对GAPO在三个评价体系上的消融研究结果

为验证 AnimeReward 奖励模型在动漫视频偏好对齐任务中的优势，研究团队设计了对比实验，使用 VideoScore [12]作为替代的奖励模型进行对齐训练。实验结果如表4所示。从结果可以看出，使用 AnimeReward 训练的模型在两个评价体系中均优于使用 VideoScore 训练的模型；而 VideoScore 仅仅在其自身评价体系中取得优势。为了更客观地评估两者的对齐性能，研究团队在图4展示了它们相对于基线模型在第三方评价基准 VBench-I2V [11]各个维度上的可视化评价结果。除 Dynamic Degree 外，基于 AnimeReward 的对齐模型在其余 7 个维度上全面优于 VideoScore。

表4 基于不同奖励模型的消融研究结果

图4 基于不同奖励模型在VBench-I2V多个维度上的可视化评估结果

以上提出了首个针对动漫视频生成的奖励模型 AnimeReward，旨在模拟人类偏好对生成动漫视频进行全方位的评价。研究团队基于两大方面设计了六个评价维度，从多个角度衡量生成动漫视频的质量。基于 AnimeReward，研究团队进一步提出了一种新颖的优化对齐策略 差距感知偏好优化（Gap-Aware Preference Optimization, GAPO），在优化损失中显式引入偏好差距信息，从而高效提升生成模型的对齐性能。实验结果表明，仅仅依赖基线模型生成的视频数据，研究团队提出的对齐管线依然能够显著提升动漫视频的生成质量，使结果更贴近人类偏好，验证了该方法在偏好对齐任务中的有效性与实用性。

[1] Peng Wang, Shuai Bai, Sinan Tan, Shijie Wang, Zhihao Fan, Jinze Bai, Keqin Chen, Xuejing Liu, et al. Qwen2-vl: Enhancing vision-language model’s perception of the world at any resolution. arXiv preprint arXiv:2409.12191, 2024.

[2] Zhuoyi Yang, Jiayan Teng, Wendi Zheng, Ming Ding, Shiyu Huang, Jiazheng Xu, Yuanming Yang, et al. Cogvideox: Text-to-video diffusion models with an expert transformer. arXiv preprint arXiv:2408.06072, 2024.

[3] Zangwei Zheng, Xiangyu Peng, Tianji Yang, Chenhui Shen, Shenggui Li, Hongxin Liu, Yukun Zhou, Tianyi Li, and Yang You. Open-sora: Democratizing efficient video production for all. arXiv preprint arXiv:2412.20404, 2024.

[4] Bin Lin, Yunyang Ge, Xinhua Cheng, Zongjian Li, Bin Zhu, Shaodong Wang, Xianyi He, Yang Ye, Shenghai Yuan, Liuhan Chen, et al. Open-sora plan: Open-source large video generation model. arXiv preprint arXiv:2412.00131, 2024.

[5] Dongfu Jiang, Xuan He, Huaye Zeng, Cong Wei, Max Ku, Qian Liu, and Wenhu Chen. Mantis: Interleaved multi-image instruction tuning. arXiv preprint arXiv:2405.01483, 2024.

[6] Mengmeng Wang, Jiazheng Xing, and Yong Liu. Actionclip: A new paradigm for video action recognition. arXiv preprint arXiv:2109.08472, 2021.

[7] Tianhe Ren, Qing Jiang, Shilong Liu, Zhaoyang Zeng, Wenlong Liu, Han Gao, Hongjie Huang, Zhengyu Ma, Xiaoke Jiang, Yihao Chen, et al. Grounding dino 1.5: Advance the "edge" of open-set object detection. arXiv preprint arXiv:2405.10300, 2024.

[8] Nikhila Ravi, Valentin Gabeur, Yuan-Ting Hu, Ronghang Hu, Chaitanya Ryali, Tengyu Ma, Haitham Khedr, et al. Sam 2: Segment anything in images and videos. In ICLR, 2025.

[9] Junnan Li, Dongxu Li, Caiming Xiong, and Steven Hoi. Blip: Bootstrapping language-image pre-training for unified vision-language understanding and generation. In ICML, 2022.

[10] Rafael Rafailov, Archit Sharma, Eric Mitchell, Christopher D Manning, Stefano Ermon, and Chelsea Finn. Direct preference optimization: Your language model is secretly a reward model. In NeurIPS, 2023.

[11] Ziqi Huang, Yinan He, Jiashuo Yu, Fan Zhang, Chenyang Si, Yuming Jiang, Yuanhan Zhang, Tianxing Wu, Qingyang Jin, et al. Vbench: Comprehensive benchmark suite for video generative models. In CVPR, 2024.

[12] Xuan He, Dongfu Jiang, Ge Zhang, Max Ku, Achint Soni, Haonan Chen, Abhranil Chandra, Ziyan Jiang, et al. Videoscore: Building automatic metrics to simulate fine-grained human feedback for video generation.  In EMNLP, 2024.