沈阳网站哪家做的好,新品发布会致辞稿,网站主题如何制作,营销型企业网站建设应遵循的原则Flow-based Robust Watermarking with Invertible Noise Layer for Black-box DistortionsAAAI, 2023#xff0c;新加坡国立大学中国科学技术大学本论文提出一种基于流的鲁棒数字水印框架#xff0c;该框架采用了可逆噪声层来抵御黑盒失真。 一、问题
基于深度神经网络…Flow-based Robust Watermarking with Invertible Noise Layer for Black-box DistortionsAAAI, 2023新加坡国立大学中国科学技术大学本论文提出一种基于流的鲁棒数字水印框架该框架采用了可逆噪声层来抵御黑盒失真。 一、问题
基于深度神经网络的水印算法已被广泛研究大多数的算法都使用了一种“编码器-噪声层-解码器”Encoder-NoiseLayer-Decoder的框架但这样的框架可能会产生一个潜在的问题就是编码器和解码器耦合不够好的问题。而这一问题可能会使编码器嵌入解码无关的信号从而限制算法在不可见性与鲁棒性上的整体性能。 二、所提的方法
1、概述
a.提出了一种基于可逆流模型的鲁棒水印框架
为更好地实现编码器与解码器的耦合论文提出了一种基于可逆流模型的鲁棒水印框架有效使用了相同的网络参数同时执行嵌入过程和提取过程。该框架的核心是一系列可逆网络单元能有效实现输入信号和输出信号的无损转换。这样网络的前向传输过程就能有效作为编码器实现消息的嵌入过程而反向传输过程就能作为解码器实现消息的提取过程。从而保证了编码器和解码器的高度耦合。
b.提出了一个可逆噪声层的结构来应对黑盒失真
可逆噪声层的主体是一个可逆流网络其目的是使用前向传输过程模拟黑盒失真。模拟完成的可逆噪声层的前向过程能有效的作为黑盒失真层加入到整个框架中进行训练。同时由于可逆性的存在可逆噪声层的反向过程也能有效的当作一种提取前的去噪过程有效去除部分噪声的影响并提升了鲁棒性。 图1. 水印训练和测试的框架图。算法的主要架构是基于流的编码器和解码器由多个可逆神经块组成可用于前向编码过程和反向解码过程。在编码器和解码器之间执行包含白盒和黑盒扭曲的噪声层以将水印图像扭曲为解码器训练的扭曲版本。
2、如何理解“可逆”
在这篇论文中可逆性主要体现在所提出的流式编码器/解码器Flow-based Encoder/Decoder简称 FED架构上。FED利用了可逆神经网络Invertible Neural Networks简称 INN的特性来实现编码和解码过程的可逆性。具体来说可逆性体现在以下几个方面
a.共享参数的编码器和解码器
在传统的“编码器-噪声层-解码器”END架构中编码器和解码器是分开训练的可能导致它们之间耦合不紧密。 流式架构通过使用可逆的神经网络块使得编码器和解码器共享相同的网络参数和结构这意味着它们在前向编码和反向解码过程中共享相同的网络权重。从而在前向编码和反向解码过程中实现紧密耦合 b.可逆的神经块
FED由多个可逆的“上-下采样”神经块组成。这些神经块在前向传播时用于嵌入水印信息在反向传播时用于提取水印信息。每个神经块都设计为可逆的即它们能够通过相同的网络结构和参数实现前向和反向操作。
c.前向编码和反向解码
在前向编码过程中可逆神经块接收水印信息和宿主图像作为输入并输出带水印的图像和冗余信息。在反向解码过程中使用相同的神经块结构但信息流的方向相反从而从失真图像中恢复出水印信息。
1在前向编码过程中我们有图像信息 和水印信息 作为输入。我们的目标是将水印信息嵌入到图像中生成新的图像信息和更新后的水印信息。 上采样操作 将水印信息上采样到与图像信息相同的尺寸。下采样操作 和这两个操作将上采样后的图像信息 进行下采样得到两个不同的表示用于更新水印信息。前向编码公式如下 这里⊗表示点积操作exp 表示指数函数。 在正向编码过程中使用的加号表示的是将两个信号或特征图进行逐元素相加的操作。这种操作在神经网络中非常常见尤其是在处理图像数据时。公式中加号用于将上采样后的水印信息与原始图像信息相结合。原因和作用 1. 合并信息 加法操作用于合并两个不同的信息源。在正向编码的情况下这包括 原始图像信息这是未经修改的输入图像。上采样的水印信息这是将水印信息上采样到与图像相同的尺寸后的结果。 通过将这两个信息源相加我们可以将水印信息直接嵌入到图像中而不显著改变图像的视觉特性。 2. 保持图像质量 加法是一种简单且有效的信息融合方法因为它不会引入额外的复杂性或计算负担。在图像处理中保持原始图像的视觉质量是非常重要的尤其是在水印或隐写术应用中。加法操作因其简单性通常不会对图像质量产生负面影响。 3. 可逆性 在可逆神经网络中加法操作是可逆的这意味着可以通过反向操作减法来恢复原始的图像信息。这种可逆性对于后续的解码过程至关重要因为它允许从带水印的图像中准确地提取出水印信息。 2在反向解码过程中我们希望从带水印的图像中提取出水印信息。我们使用与前向编码相同的网络块但是以相反的顺序应用它们。 反向操作首先对冗余信息进行操作以生成。下采样的逆操作使用的逆操作从中恢复图像信息。反向解码公式如下 这里是失真图像是从中提取的冗余信息 在反向解码过程中使用的负号-和指数函数exp是可逆神经网络中常见的操作它们用于确保网络的可逆性和信息的准确恢复。这些操作的具体作用如下 负号-在反向操作中负号用于逆转前向过程中某些操作的效果。在许多可逆网络设计中正向操作和反向操作是对称的负号确保了这种对称性使得网络可以准确地反向追踪其操作。例如如果在前向传播中进行了加法操作那么在反向传播中我们可能需要执行减法操作来恢复 z的值。 指数函数exp指数函数在可逆网络中用于处理乘法或除法操作。这是因为乘法和除法操作在数学上不是可逆的因为它们不保持信息的一一对应关系。通过使用指数和对数函数我们可以将乘法转换为加法或将除法转换为减法从而使得操作可逆。例如如果前向操作是乘法那么反向操作可以是 负号 − 用于逆转操作的效果。指数函数 exp用于逆转操作的效果并且通过这种方式可以将乘法操作转换为加法操作使得网络可逆。 d.可逆的噪声层
噪声层在训练阶段被引入用于模拟和扭曲水印图像使解码器能够从扭曲的图像中提取出水印信息。这种机制通过联合训练编码器、噪声层和解码器来确保水印系统的鲁棒性。
1噪声层的类型
白盒噪声层White-box Noise Layer直接使用现有的可微噪声层如JPEGSS用于JPEG压缩。这些噪声层通过已知的可微操作模拟已知的图像处理过程。黑盒噪声层Black-box Noise Layer即INL针对未知机制的黑盒失真如社交媒体中的风格转换采用可逆神经网络Invertible Neural Network, INN来模拟这些失真。INL的前向过程作为训练时的噪声层后向过程作为提取前的去噪操作以提升系统对黑盒失真的鲁棒性。
2黑盒噪声层INL的设计
训练数据通过将原始图像 经过黑盒失真过程如风格转换API得到失真图像形成训练数据对 {,}。网络架构INL由多个可逆噪声块组成每个噪声块包含三个模块ϕ、ρ、ω这些模块是任意的可学习函数。通过前向过程将原始图像扭曲成扭曲图像后向过程则将扭曲图像恢复到接近原始图像的状态。训练目标使得通过INL正向过程 处理后的失真图像 尽可能接近于真实失真图像同时在反向过程中处理后的图像 应尽可能接近原始图像。 INL的输入和输出和 分别代表高频和低频组件。和是经过处理后的高频和低频组件。 正向过程公式描述了如何通过正向过程将输入转换为输出具体公式为如下。其中,, 和是任意函数通常选择具有良好表示能力的密集块Dense Block。 这一步表示低频组件的更新。函数 ϕ 作用于高频组件并将结果加到低频组件上生成更新后的低频组件。 这一步表示高频组件的更新。ρ函数作用于更新后的低频组件然后取指数得到一个值与原始高频组件逐元素相乘表示为 Hadamard乘积。在矩阵或多维数组的上下文中逐元素相乘是指两个矩阵或数组相同位置的元素之间的乘法操作。。ω函数同样作用于其结果与上述乘积相加得到最终的高频组件。 a. 离散小波变换Discrete Wavelet TransformDWT 离散小波变换是一种用于信号分解的技术它可以将信号分解成不同尺度频率上的组成部分。DWT 利用小波函数来捕捉信号的局部特征这些小波函数具有不同的尺度和位移版本。 功能DWT 能够将信号分解为低频部分近似部分和高频部分细节部分。低频部分包含了信号的概貌信息而高频部分包含了信号的细节信息。应用在图像处理中DWT 常用于图像压缩和降噪因为它能有效分离图像中的不同特征在音频处理中用于分析音频信号中的不同频率成分。 b. 逆离散小波变换Inverse Discrete Wavelet Transform 逆离散小波变换是 DWT 的逆过程它用于从小波系数中重建原始信号。通过 IDWT可以将 DWT 分解得到的近似系数和细节系数重新合成为原始的信号或图像。 功能IDWT 通过结合低频和高频成分来重建信号。它确保了原始信号可以从其小波系数中准确地恢复。应用在图像和信号的重建过程中IDWT 是必不可少的步骤特别是在压缩和降噪处理之后需要恢复原始图像或信号时。 e.冗余信息的生成和利用
在前向编码过程中生成的冗余信息 Rf 在反向解码过程中并不需要这表明解码过程是“盲”的即解码器不需要任何额外信息即可从失真图像中提取出水印信息。 3、损失函数
a.图像损失
图像损失的目的是确保嵌入的水印对原始图像的影响尽可能小以实现良好的不可见性。这是通过最小化水印图像和原始宿主图像 之间的均方误差MSE来实现的。 其中相当于这里表示前向编码过程表示模型参数。
b.消息损失
消息损失的目的是确保即使在图像受到失真后也能准确地从失真图像中提取出水印信息。这通过最小化提取出的水印和原始水印 之间的均方误差来实现。 其中相当于这里表示反向解码过程是一个全零矩阵大小与 相同。
c.总损失 这里λ1和 λ2是权重参数用于调整两个损失部分的相对重要性。
