【DiffMorpher】-让狮子瞬间老虎,特朗普秒变拜登—— 登录和使用:详细指南!

2023-12-29 15:04:24

DiffMorpherとは?

扩散模型实现了超越前一代模型的惊人图像生成质量。然而,与 GAN 相比,扩散模型的一个显着局限性是潜在空间不是高度结构化的,因此很难在两个图像样本之间平滑变形。因此,开发了一种称为 DiffMorpher 的技术,即使使用扩散模型也可以实现变形

关键是训练两个图像,每个图像有两个 LoRA,并在潜在噪声和 LoRA 参数之间进行插值。然后,我们通过添加注意力插值和注入技术、自适应归一化调整技术和新的采样计划来实现平滑变形。

理论听起来晦涩难懂,具体实现方式可以参照下面这张图片。
请添加图片描述

登录ngrok

由于 # DiffMorpher 目前尚未提供应用程序接口,仅能通过代码来操作。因此,我们需要利用 ngrok 这一工具来实现远程运行

Step1. 注册 ngrok

首先我们要注册注册 ngrok,ngrok的使用是完全免费的。
在这里插入图片描述

通过Github,Googl账号或者邮箱都可以登录。
在这里插入图片描述

Step2. 获取令牌

登录完毕后,在“Your Authtoken" 下面可以获取令牌。
请添加图片描述

代码运行

Step1. 打开google colab 运行环境

单击此: link 可以打开google colab 。

Step2. 执行代码

首先,为了能够远程运行colab的本地端口,在conf.get_default().auth_token = 中输入获得的令牌(Your Authtoken)并执行。
在这里插入图片描述

Step3. 运行结束

整个运行过程大概需要10分钟,请记住出现在日志末尾的,位于 ngrok URL:NgrokTunnel:后面的 URL输出结果。
整个运行过程预计将耗时大约10分钟。请特别注意,在日志的末尾,需要记录位于ngrok URL:NgrokTunnel: 后面的 URL 输出结果。
在这里插入图片描述

Step4. 启动 DiffMorpher

准备工作完成了,接下来,运行 DiffMorpher。在这里插入图片描述

你在日志的最后看到了,Running on local URL: http://127.0.0.1:7860,说明运行结束了。

在这里插入图片描述

使用 DiffMorpher

点击前面提到的 ‘ngrok URL: NgrokTunnel:’ 后的 URL 链接,会打开一个新的页面。
在该页面中,所有默认设置已经提前配置完毕,包括特朗普和拜登的照片也已设为默认。只需保留这些默认设置,直接点击“Run”按钮即可开始操作。
在这里插入图片描述
在底部的参数设置部分,可以更改Number of Frames(补充多少帧)、FPS(每秒多少帧)等。有兴趣的可以去尝试一下。
在这里插入图片描述

特朗普神奇地变身成了拜登,过渡得天衣无缝,真是太神奇了。
请添加图片描述

总结

  1. 照片渐变过程非常顺滑,看不出任何违和感
  2. 在操作的时候要保持google colab的代码保持状态。
  3. 效果是真的好,速度也是真的慢,大概需要15分钟左右才能完成一次运行。

最后附上(github源代码链接)
链接: Github

文章来源:https://blog.csdn.net/Hellen_201903/article/details/135273151
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。