【前沿技术】超级稳定的视频卡通画方案
2024-01-03 10:38:19
Git clone项目到本地
git clone git@github.com:Artiprocher/DiffSynth-Studio.git
基本原理
使用了stable diffusion稳定扩散模型和controlnet来控制图像生成的轮廓,animatediff控制视频帧与帧之间的连续性,最后使用RIFE技术平滑整个生成后的视频。
创建虚拟环境并安装相关依赖
cd DiffSynth-Studio conda env create -f environment.yml
解释一下environment.yml文件内容,如果以后自己想一键构建虚拟环境并安装相关依赖,可以参考此教程
?
-
name
: 指定创建的 Conda 环境的名称。 -
channels
: 指定 Conda 频道,即从哪些地方获取软件包。defaults
是默认的 Conda 频道,你还可以添加其他频道。 -
dependencies
: 列出项目所需的依赖包。你可以指定 Python 版本以及其他需要的包。如果使用conda-forge
频道中的软件包,可以使用conda-forge::
前缀。 -
可以在
dependencies
下使用pip
来指定使用 Pip 安装的软件包,例如:pip: - some_package
。
创建 Conda 环境的步骤:
-
将上述内容保存到一个名为
environment.yml
的文件中。 -
打开终端或命令提示符,导航到包含
environment.yml
文件的目录。 -
运行以下命令创建 Conda 环境:
conda env create -f environment.yml
激活虚拟环境
conda activate DiffSynthStudio
运行项目
下载模型到本地models目录
# `models/stable_diffusion/flat2DAnimerge_v45Sharp.safetensors`: [link](https://civitai.com/api/download/models/266360?type=Model&format=SafeTensor&size=pruned&fp=fp16)
# `models/AnimateDiff/mm_sd_v15_v2.ckpt`: [link](https://huggingface.co/guoyww/animatediff/resolve/main/mm_sd_v15_v2.ckpt)
# `models/ControlNet/control_v11p_sd15_lineart.pth`: [link](https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_lineart.pth)
# `models/ControlNet/control_v11f1e_sd15_tile.pth`: [link](https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11f1e_sd15_tile.pth)
# `models/Annotators/sk_model.pth`: [link](https://huggingface.co/lllyasviel/Annotators/resolve/main/sk_model.pth)
# `models/Annotators/sk_model2.pth`: [link](https://huggingface.co/lllyasviel/Annotators/resolve/main/sk_model2.pth)
# `models/textual_inversion/verybadimagenegative_v1.3.pt`: [link](https://civitai.com/api/download/models/25820?type=Model&format=PickleTensor&size=full&fp=fp16)
# `models/RIFE/flownet.pkl`: [link](https://drive.google.com/file/d/1APIzVeI-4ZZCEuIRE1m6WYfSCaOsi_7_/view?usp=sharing)
运行examples目录下的sd_toon_shading.py
python sd_toon_shading.py
结果展示
原视频
写实的跳舞视频,在网盘里,不方便展示。
风格化后的视频
?
代码及模型地址
链接:http:// https://pan.baidu.com/s/1K4poXHiOCrzfUArMjbLkFA
提取码: e2r4
参考链接:
?
文章来源:https://blog.csdn.net/qq_44091004/article/details/135355207
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!