AI进化太快了!Stability AI开源视频生成大模型Stable Video Diffusion

2023-12-25 16:56:36

对于 Stable Diffusion,想必读者朋友们对此都不陌生。

自 Stability AI 公司发布 SD(全称:Stable Diffusion) 以来,受到了很多人的喜爱。

图片

SDXL 效果

随后技术升级,又发布了 SDXL,名字很有喜感,XL、XXL、XXXL…

图片

SDXL Logo

顾名思义,SDXL 就是 SD 的升级版,图片生成的效果更好、更逼真、分辨率更高!

图片领域做得不错了,Stability AI 再次发力,昨天又发布了 Stable Video Diffusion。

图片

Stability AI 发布

也就是说,通过一句话描述,现在不仅可以生成图片,还可以生成视频了。

举几个例子。

输入:火箭升天

AI 算法直接生成对应的视频:

图片

输入:太空中转动的地球:AI 算法直接生成对应的视频

图片

看下更多的例子:

图片

是不是效果还不错?Stability AI 把 Stable Video Diffusion 也开源了!

技术交流群

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

建了技术交流群&星球!想要资料、进交流群的同学,可以直接加微信号:mlc2060。加的时候备注一下:研究方向 +学校/公司,即可。然后就可以拉你进群了。

方式①、添加微信号:mlc2060,备注:大模型资料 or 技术交流
方式②、微信搜索公众号:机器学习社区,后台回复:大模型资料 or 技术交流

在这里插入图片描述

在这里插入图片描述

01 Stable Video Diffusion

一共开源了两个模型:

SVD:能够生成帧率 14、分辨率 576x1024 的视频;

SVD-XT:SVD 的 finetune 升级版,分辨率不变,但能够生成帧率 25 的视频;

前排提醒: 想要本地跑 Stable Video Diffusion,显存得 20G 左右。

1、下载代码库

git clone git@github.com:Stability-AI/generative-models.gitcd generative-models

2、配置 Python 环境

由于第三方依赖库的要求,Python 需要至少是 3.10 版本以上。

推荐使用 conda 新建一个环境。

conda create -n py310 python==3.10

激活环境,并安装相应的依赖。

conda activate py310python -m pip install -r requirements/pt2.txt

最后再安装 sgm,直接在项目根目录运行即可。

python -m pip install .

如果想要训练模型,还需要安装 sdata,我这里就不说了,毕竟跟我一样训练不起的,应该占绝绝绝绝大多数。

3、模型下载

SVD 模型下载地址:

https://huggingface.co/stabilityai/stable-video-diffusion-img2vid

SVD-XT 模型下载地址:

https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt

下载好模型后,将模型放到 checkpoints 目录下。

4、运行算法

可以使用 streamlit 运行:

streamlit run scripts/demo/video_sampling.py --server.port <your_port>

好了,今天就聊这么多吧。

文章来源:https://blog.csdn.net/m0_59596990/article/details/135200565
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。