阿里发布高质量图像转视频AI模型I2VGen-XL

2023-12-16 17:29:46

受益于扩散模型快速发展,视频合成近年来取得了显著进步。然而,在语义准确性、清晰度和时空连续性方面仍存在挑战。这主要源于缺乏良好对齐的文本视频数据以及视频的复杂结构,使得模型难以同时确保卓越的语义和质量。

阿里团队提出了一种级联I2VGen-XL方法,通过解耦这两个因素来增强模型性能,并通过利用静态图像作为关键引导形式来确保输入数据的对齐。I2VGen-XL由两个阶段组成:

基础阶段:通过使用两个分层编码器,保证连贯的语义并保留输入图像的内容。

细化阶段:通过合并额外的简短文本来增强视频的细节,并将分辨率提高到1280×720。

为了提高多样性,阿里团队收集了约3.5亿个单镜头文本-视频对和60亿个文本-图像对来优化模型。通过这种方式,I2VGen-XL可以同时增强生成视频的语义准确性、细节连续性和清晰度。

通过大量实验,阿里团队研究了I2VGen-XL的基本原理,并将其与当前顶级方法进行了比较,证明了其在各种数据上的有效性,并公开源代码和模型。

文章来源:https://blog.csdn.net/heehelcom/article/details/135021775
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。