即刻搜索网站提交入口,设计外贸网站,湖北省建设银行网站,网站建设的小故事节前#xff0c;我们星球组织了一场算法岗技术面试讨论会#xff0c;邀请了一些互联网大厂朋友、参加社招和校招面试的同学。
针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。
合集#x…节前我们星球组织了一场算法岗技术面试讨论会邀请了一些互联网大厂朋友、参加社招和校招面试的同学。
针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。
合集
持续火爆《AIGC 面试宝典》已圈粉无数 最近爆火的AI绘图相信大家并不陌生了。
从AI绘图软件生成的作品打败一众人类艺术家到如今文生图代表Midjourney、Stable Diffusion、 DALL-E 到处攻城略地。
那么在你感受AI绘图魅力的同时 有没有想过它背后的奥妙究竟是什么
一切都要从一个名为DDPM的模型说起…
话说DDPM
DDPM模型全称Denoising Diffusion Probabilistic Model可以说是现阶段diffusion模型的开山鼻祖。不同于前辈GAN、VAE和flow等模型diffusion模型的整体思路是通过一种偏向于优化的方式 逐步从一个纯噪音的图片中生成图像。 现在已有生成图像模型的对比
没有相关机器学习背景的小伙伴可能会问了什么是纯噪音图片
很简单老式电视机没信号时伴随着刺啦刺啦噪音出现的雪花图片就属于纯噪音图片。而DDPM在生成阶段所做的事情就是把这些个雪花一点点移除直到清晰的图像露出它的庐山真面目我们把这个阶段称之为去噪。 纯噪音图片老电视的雪花屏
通过描述大家可以感受到去噪其实是个相当复杂的过程。没有一定的去噪规律可能你忙活了好半天到最后还是对着奇形怪状的图片欲哭无泪。当然不同类型的图片也会有不同的去噪规律至于怎么让机器学会这种规律有人灵机一动想到了一种绝妙的方法。
“既然去噪规律不好学那我为什么不先通过加噪的方式先把一张图片变成纯噪音图像再把整个过程反着来一遍呢”
这便奠定了diffusion模型整个训练-推理的流程 先在前向过程 forward process 通过逐步加噪将图片转换为一个近似可用高斯分布的纯噪音图像紧接着在反向过程 reverse process 中逐步去噪生成图像最后以增大原始图像和生成图像的相似度作为目标优化模型直至达到理想效果 。 DDPM的训练-推理流程
到这里不知道大家的接受度怎样如果感觉没问题轻轻松的话。准备好我要开始上大招深入理论啦。
1.前向过程forward process
又称为扩散过程diffusion process整体是一个参数化的 马尔可夫链Markov chain 。从初始数据分布 出发每步在数据分布中添加高斯噪音持续T次。其中从第t-1步到第t步的过程可以用高斯分布表示为 通过合适的设置随着t不断增大原始数据会逐渐失去他的特征。我们可以理解为在进行了无限次的加噪步骤后最终的数据会变成没有任何特征完全是随机噪音的图片也就是我们最开始说的雪花屏。
在这个过程中每一步的变化是可以通过设置 超参 来控制在我们知晓最开始的图片是什么的前提下前向加噪的整个过程可以说是 已知且可控的 我们完全能知道每一步的生成数据是什么样子。
但问题在于每次的计算都需要从起始点出发结合每一步的过程慢慢推导至你想要的某步数据过于麻烦。好在因为高斯分布的一些特性我们可以一步到位直接从得到。 这里的 和 为组合系数 本质上是超参的表达式
2.反向过程reverse process
和前向过程同理反向过程也是一个 马尔可夫链Markov chain**** 只不过这里用到的参数不同至于具体参数是什么这个就是我们需要机器来学习的部分啦。
在了解机器如何学习前我们首先思考基于某一个原始数据从第t步精准反推回第t-1步的过程应该是怎样的
答案是这个仍可以用高斯分布表示 注意这里必须要考虑意思是反向过程最后生成图像还是要与原始数据有关。输入猫的图片模型生成的图像应该是猫输入狗的图片生成的图像也应该和狗相关。若是去除掉则会导致无论输入哪种类型的图片训练最后diffusion生成的图像都一样“猫狗不分”。
经过一系列的推导我们发现反向过程中的参数和竟然还是可以用以及参数 表示出来的是不是很神奇~ 当然机器事先并不知道这个真实的反推过程它能做到的只是用一个大概近似的估计分布去模拟表示为 θ 。
3.优化目标
在最开始我们提到需要通过 增大原始数据和反向过程最终生成数据的相似度 来优化模型。在机器学习中我们计算该相似度参考的是 交叉熵 cross entropy 。
关于交叉熵学术上给出的定义是用于度量两个概率分布间的差异性信息。换句话讲交叉熵越小模型生成的图片就越和原始图片接近。但是在大多数情况下交叉熵是 很难或者无法通过计算得出 的所以我们一般会通过优化一个更简单的表达式达到同样的效果。
Diffusion模型借鉴了VAE模型的优化思路将 variational lower bound VLB 又称 ELBO 替代cross entropy来作为最大优化目标。通过无数步的分解我们最终得到 看到这么复杂的公式好多小伙伴肯定头都大了。但不慌这里需要关注的只是中间的 罢了它表示的是 和之间估计分布和真实分布的差距 。差距越小模型最后生成图片的效果就越好。
4.上代码
在了解完DDPM背后的原理接下来就让我们看看DDPM模型究竟是如何实现…
才怪啦。相信看到这里的你肯定也不想遭受成百上千行代码的洗礼。好在MindSpore已经为大家提供了开发完备的DDPM模型 训练推理两手抓操作简单单卡即可运行 想要体验效果的小伙伴可以先pip install denoising-diffusion-mindspore后参考如下代码配置参数 对重要的参数进行一些解析 GaussianDiffusion image_size: 图片大小 timesteps: 加噪步数 sampling_timesteps: 采样步数为提升推理性能需小于加噪步数 Trainer folder_or_dataset: 对应图片中的path, 可以是已下载数据集的路径str也可以是已做好数据处理的VisionBaseDataset, GeneratorDataset 或 MindDataset train_batch_sizebatch大小 train_lr: 学习率 train_num_steps: 训练步数
Reference https://medium.com/mlearning-ai/ai-art-wins-fine-arts-competition-and-sparks-controversy-882f9b4df98c Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising Diffusion Probabilistic Models. arXiv:2006.11239, 2020. Ling Yang, Zhilong Zhang, Shenda Hong, Runsheng Xu, Yue Zhao, Yingxia Shao, Wentao Zhang, Ming-Hsuan Yang, and Bin Cui. Diffusion models: A comprehensive survey of methods and applications. arXiv preprint arXiv:2209.00796, 2022. https://lilianweng.github.io/posts/2021-07-11-diffusion-models https://github.com/lvyufeng/denoising-diffusion-mindspore https://zhuanlan.zhihu.com/p/525106459 https://zhuanlan.zhihu.com/p/500532271 https://www.zhihu.com/question/536012286 https://mp.weixin.qq.com/s/XTNk1saGcgPO-PxzkrBnIg https://m.weibo.cn/3235040884/4804448864177745
