【复现】FreeU以及结合AnimateDiff

2023-12-26 22:58:19

??code：GitHub - ChenyangSi/FreeU: FreeU: Free Lunch in Diffusion U-Net整了半天发现目前的FreeU好像只支持SD2.1和SDXL啊。。而AnimateDiff? v1, v2 and v3 都是用的?Stable Diffusion V1.5，不知道该怎么结合了

才发现AnimateDiff更新v3了，以及又发了篇CVPR的改进工作：

在这个版本中，我们通过域适配器LoRA对图像模型进行了微调，以便在推理时具有更大的灵活性。

实现了两个(RGB图像/scribble) SparseCtrl编码器，可以采用固定数量的条件映射来控制生成过程。

域适配器是一个在训练视频数据集的静态帧上进行训练的LoRA模块。这个过程是在训练运动模块之前完成的，并帮助运动模块专注于运动建模，如下图所示。在推理时，通过调整域适配器的LoRA尺度，可以去除训练视频的一些视觉属性，如水印。为了利用SparseCtrl编码器，有必要在管道中使用全域适配器。

明天读一下

SDV2-1下载：stabilityai/stable-diffusion-2-1 at main (huggingface.co)

?

文章来源:https://blog.csdn.net/weixin_57974242/article/details/135219588
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。