wordpress用户注册提醒,网站seo站长工具,网站建设技术合作合同书,开发公司综合部内部管理章程大家好#xff0c;我是刘明#xff0c;明志科技创始人#xff0c;华为昇思MindSpore布道师。 技术上主攻前端开发、鸿蒙开发和AI算法研究。 努力为大家带来持续的技术分享#xff0c;如果你也喜欢我的文章#xff0c;就点个关注吧
正文
关于扩散模型#xff08;Diffusi…大家好我是刘明明志科技创始人华为昇思MindSpore布道师。 技术上主攻前端开发、鸿蒙开发和AI算法研究。 努力为大家带来持续的技术分享如果你也喜欢我的文章就点个关注吧
正文
关于扩散模型Diffusion Models有很多种理解本文的介绍是基于denoising diffusion probabilistic model DDPMDDPM已经在无条件图像/音频/视频生成领域取得了较多显著的成果现有的比较受欢迎的的例子包括由OpenAI主导的GLIDE和DALL-E 2、由海德堡大学主导的潜在扩散和由Google Brain主导的图像生成。
实际上生成模型的扩散概念已经在Sohl-Dickstein et al., 2015中介绍过。然而直到Song et al., 2019斯坦福大学和Ho et al., 2020在Google Brain才各自独立地改进了这种方法。
本文是在Phil Wang基于PyTorch框架的复现的基础上而它本身又是基于TensorFlow实现迁移到MindSpore AI框架上实现的。 实验中我们采用离散时间潜在变量模型的观点另外读者也可以查看有关于扩散模型的其他几个观点
实验开始之前请确保安装并导入所需的库假设您已经安装了MindSpore、download、dataset、matplotlib以及tqdm。
import math
from functools import partial
%matplotlib inline
import matplotlib.pyplot as plt
from tqdm.auto import tqdm
import numpy as np
from multiprocessing import cpu_count
from download import downloadimport mindspore as ms
import mindspore.nn as nn
import mindspore.ops as ops
from mindspore import Tensor, Parameter
from mindspore import dtype as mstype
from mindspore.dataset.vision import Resize, Inter, CenterCrop, ToTensor, RandomHorizontalFlip, ToPIL
from mindspore.common.initializer import initializer
from mindspore.amp import DynamicLossScalerms.set_seed(0)
模型简介
什么是Diffusion Model 由 索引的正向和反向过程都发生在某些有限时间步长 DDPM作者使用 内。从 开始在数据分布中采样真实图像 本文使用一张来自ImageNet的猫图像形象的展示了diffusion正向添加噪声的过程正向过程在每个时间步长 都从高斯分布中采样一些噪声再添加到上一个时刻的图像中。假定给定一个足够大的 和一个在每个时间步长添加噪声的良好时间表您最终会在 通过渐进的过程得到所谓的各向同性的高斯分布。
扩散模型实现原理
Diffusion 前向过程
所谓前向过程即向图片上加噪声的过程。虽然这个步骤无法做到图片生成但这是理解diffusion model以及构建训练样本至关重要的一步。 首先我们需要一个可控的损失函数并运用神经网络对其进行优化。
Diffusion 逆向过程
为了解决上述问题我们将利用神经网络来近似学习这个条件概率分布 , 其中 是神经网络的参数。如果说前向过程(forward)是加噪的过程那么逆向过程(reverse)就是diffusion的去噪推断过程而通过神经网络学习并表示 的过程就是Diffusion 逆向去噪的核心。
U-Net神经网络预测噪声
神经网络需要在特定时间步长接收带噪声的图像并返回预测的噪声。请注意预测噪声是与输入图像具有相同大小/分辨率的张量。因此从技术上讲网络接受并输出相同形状的张量。那么我们可以用什么类型的神经网络来实现呢
这里通常使用的是非常相似的自动编码器您可能还记得典型的“深度学习入门”教程。自动编码器在编码器和解码器之间有一个所谓的“bottleneck”层。编码器首先将图像编码为一个称为“bottleneck”的较小的隐藏表示然后解码器将该隐藏表示解码回实际图像。这迫使网络只保留bottleneck层中最重要的信息。
在模型结构方面DDPM的作者选择了U-Net出自Ronneberger et al.2015当时它在医学图像分割方面取得了最先进的结果。这个网络就像任何自动编码器一样在中间由一个bottleneck组成确保网络只学习最重要的信息。重要的是它在编码器和解码器之间引入了残差连接极大地改善了梯度流灵感来自于He et al., 2015。 可以看出U-Net模型首先对输入进行下采样即在空间分辨率方面使输入更小之后执行上采样。
