快速开发网站,网站建设平ppt,网站设计配色,平台经济摘要
语义通信是一种新颖的通信方式#xff0c;可通过传输数据的语义信息提高带宽效率。提出一种用于无线图像传输的系统。该系统基于深度学习技术开发并以端到端#xff08;E2E#xff09;的方式进行训练。利用深度学习实现语义特征的提取和重建#xff0c;在发送端提取信…摘要
语义通信是一种新颖的通信方式可通过传输数据的语义信息提高带宽效率。提出一种用于无线图像传输的系统。该系统基于深度学习技术开发并以端到端E2E的方式进行训练。利用深度学习实现语义特征的提取和重建在发送端提取信源信息不同类型和不同形式的语义特征在接收端融合各类型语义特征进行目标语义恢复。仿真结果表明与基准模型相比所提模型在信道环境恶劣的情况下具有更好的重建精度。
0. 引言
【22】一种基于深度学习的无线图像传输系统 实 现基于E2E的JSCC使用峰值信噪PSNR 和结构相似性指数 SSIM测量重建图像的质量。【25】开展了物联网 IoT 设备用于图像传输的研究通过将两个 DNN 的联合传输识别方案部署在设备端在识别精度上比传统方案更好。【26】提出了联合特征压缩和传输系统以处理边缘服务器上有限的计算资源。该方案提高了E2E可靠性降低了计算复杂度。**【28】**文献[28]提出了一种新的航空图像传输范式在无人机端部署一个轻量级模型用于感知图像和信道条件的语义传输模块在接收端通过计算能力更强的基站对收到的信息进一步处理提高分类精度。【29】提出了基于深度学习的用于传输单模态和多模态数据的多用户语义通信系统通过在编码器和解码器层之间添加连接来融合多模态数据实现图像检索和视觉问答等功能。
1. 语义系统模型 1.1 编码器
组成语义特征提取器、联合语义信道编码器 步骤 1编码器的输入图像S由归一化层预处理使得每个元素都在[0,1]范围内 2通过多个基于神经网络的多级语义特征提取器提取输入图像的不同语义特征 3利用联合语义信道编码器将语义特征编码为符号通过物理通道传输到接收器传输向量xx Tβ (Tα (S) )Tα (⋅)为多级语义特征提取网络Tβ (⋅)为联合语义信道编码器网络参数为αβ。
1.2 解码器
组成联合语义信道解码器、图像重建模块 步骤 1联合语义信道解码器减轻信号在 AWGN 信道的噪声干扰并恢复多级语义特征 2图像重建模块融合不同层次的语义信息并重建目标图像 3反归一化层将每个元素重新缩放为图像像素值 0255。
目标最小化输入图像S和重建图像 Ŝ之间的平均误差 评估语义失真均方差 MSEd(S,Ŝ) 1/n ||S − Ŝ||^2为均方误差分布N为样本数。
2. 多级图像语义通信模型
高级语义信息图像的抽象性和通用性 低级语义信息图像的局部细节语义信息
2.1 多级语义特征提取器
提取器包含三个模块语义特征提取器、分割特征提取器、低级特征提取器
不同模块分别提取不同层级和不同形式的图像语义信息
语义特征模块包含一个预训练的图像字幕模型ResNet-152模型LSTM组成用于提取图像文本形式的高级语义信息文本嵌入信息分割特征模块通过预训练的图像分割模型获取图像分割形式的高级语义信息低级特征模块主要用于图像细节特征的提取为高级语义信息做细节补充实现更丰富的信息重构
联合部分通过concatenate按通道维度将归一化图像和分割特征相结合并输出直取部分直接输入归一化后的图像特征
2.2 联合语义信道编解码
提取处理的特征包含文本形式特征p图像分割特征a、联合特征f、图像归一化低级特征
2.3 图像重建模块
1首先借助双特征融合模块对两种形式的高级语义特征进行融合 2通过像素上采样模块对特征信息升维 3将相同维度的高级语义信息和低级细节补充信息进行级联操作通过残差网络对融合后的信息进行提取并重建目标图像
3. 仿真结果与分析
3.1 仿真参数
**数据集**MSCOCO、ADE20K 语义特征模块使用带有文本标签的MSCOCO数据集训练 系统其余部分使用带有分割标签的ADE20K数据集训练 测试提出的图像无线通信系统Kodak图像数据集AI模型Pytorch, 使用Adam算法优化学习率设置为 0.0001批次大小设置为 32下采样因子t 8
