【前沿技术】超级稳定的视频卡通画方案

2024-01-03 10:38:19

Git clone项目到本地

git clone git@github.com:Artiprocher/DiffSynth-Studio.git

基本原理

使用了stable diffusion稳定扩散模型和controlnet来控制图像生成的轮廓,animatediff控制视频帧与帧之间的连续性,最后使用RIFE技术平滑整个生成后的视频。

创建虚拟环境并安装相关依赖

cd DiffSynth-Studio conda env create -f environment.yml

解释一下environment.yml文件内容,如果以后自己想一键构建虚拟环境并安装相关依赖,可以参考此教程

?
  • name: 指定创建的 Conda 环境的名称。

  • channels: 指定 Conda 频道,即从哪些地方获取软件包。defaults 是默认的 Conda 频道,你还可以添加其他频道。

  • dependencies: 列出项目所需的依赖包。你可以指定 Python 版本以及其他需要的包。如果使用 conda-forge 频道中的软件包,可以使用 conda-forge:: 前缀。

  • 可以在 dependencies 下使用 pip 来指定使用 Pip 安装的软件包,例如:pip: - some_package

创建 Conda 环境的步骤:

  1. 将上述内容保存到一个名为 environment.yml 的文件中。

  2. 打开终端或命令提示符,导航到包含 environment.yml 文件的目录。

  3. 运行以下命令创建 Conda 环境:

conda env create -f environment.yml

激活虚拟环境

conda activate DiffSynthStudio

运行项目

下载模型到本地models目录

# `models/stable_diffusion/flat2DAnimerge_v45Sharp.safetensors`: [link](https://civitai.com/api/download/models/266360?type=Model&format=SafeTensor&size=pruned&fp=fp16) 
# `models/AnimateDiff/mm_sd_v15_v2.ckpt`: [link](https://huggingface.co/guoyww/animatediff/resolve/main/mm_sd_v15_v2.ckpt) 
# `models/ControlNet/control_v11p_sd15_lineart.pth`: [link](https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_lineart.pth) 
# `models/ControlNet/control_v11f1e_sd15_tile.pth`: [link](https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11f1e_sd15_tile.pth) 
# `models/Annotators/sk_model.pth`: [link](https://huggingface.co/lllyasviel/Annotators/resolve/main/sk_model.pth) 
# `models/Annotators/sk_model2.pth`: [link](https://huggingface.co/lllyasviel/Annotators/resolve/main/sk_model2.pth) 
# `models/textual_inversion/verybadimagenegative_v1.3.pt`: [link](https://civitai.com/api/download/models/25820?type=Model&format=PickleTensor&size=full&fp=fp16) 
# `models/RIFE/flownet.pkl`: [link](https://drive.google.com/file/d/1APIzVeI-4ZZCEuIRE1m6WYfSCaOsi_7_/view?usp=sharing)

运行examples目录下的sd_toon_shading.py

python sd_toon_shading.py

结果展示

原视频

写实的跳舞视频,在网盘里,不方便展示。

风格化后的视频

?15b416d89231469cbee6e7cf782ce9e3.gif

代码及模型地址

链接:http:// https://pan.baidu.com/s/1K4poXHiOCrzfUArMjbLkFA

提取码: e2r4

参考链接:

bilibili介绍网址

github项目地址

?

文章来源:https://blog.csdn.net/qq_44091004/article/details/135355207
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。