建站工具megento,电子商务公司名称大全集最新,呼和浩特网站建设SEO优化,哈尔滨建设局下一代视频编码技术
下面将从这两个角度来介绍华为云视频在下一代视频编码技术上的一些工作。这些技术得益于华为2012 媒体技术院全力支持。
2.1 下一代视频编码标准技术
从上图可以看出#xff0c;下一代的视频编码标准大概分为三个阵营或者三个类型#xff1a; 国际标准…下一代视频编码技术
下面将从这两个角度来介绍华为云视频在下一代视频编码技术上的一些工作。这些技术得益于华为2012 媒体技术院全力支持。
2.1 下一代视频编码标准技术
从上图可以看出下一代的视频编码标准大概分为三个阵营或者三个类型 国际标准由 MPEG、VVC 联合推动的像 VVC/H.266还有 EVC。 国内标准国内标准组织正在推出或已经推出 AVS3 的 phase1、AVS3 的 phase2两者主要差别在于 AVS3 第1 阶段标准瞄准 H.266第二阶段的标准则是瞄准未来, 可能会加入一些智能编码的技术。 谷歌牵头的 AOM 联盟推出的 AV1是一个开源技术。
下一代的视频编码技术仍是采用传统的演进思路——在经典架构上做模块增强。在H.266CFP 时华为联合其他几家公司提了 P41 提案在 PSNR 和 MOS 评估方面都是排名第一这个提案也是后面的基础。华为在 VVC 里的核心专利数量已属于第一阵营这是一个了不起的成就也说明了国内的视频压缩编码基础研究实际上不弱于欧美传统的公司。
以 VVC 为例对其新增的增强工具进行盘点。纵轴是每个工具的压缩收益横轴是每个工具编解码复杂度编码复杂度的权重可能会更高一点。VVC 在块划分、帧内预测、帧间预测、熵编码、变换量化等多个模块上进行了增强其中主要的增强是帧内、帧间预测、块划分、滤波的增强以及机器学习工具演进带来的收益。VVC 暂时没有引入深度学习这一类编码工具。
图中还有三个用红圈标出来的工具这是 VVC 中公认 trade off 比较好的三个工具点。蓝色的是 ALF这是大家比较熟悉的自适应环路滤波其实它在 H.265的时代就已经有了 H.266 将它引入标准中绿色的是仿射运动预测这个主要是由华为提出的橙色的是量化技术。
EVC 标准的提出某种程度是因为 H.265/H.266的专利政策不友好有可能导致 H.266 的落地都比较困难。MPEG 希望能通过一个新的专利友好的标准来推动落地同时也促使改变 H.266、H.265 的专利授权政策。EVC 由华为、三星、高通等共同提出推动华为在这里面加入了很多技术。在标准立项时期望它比 H.265 的压缩性能提升20%实测在4K 娱乐视频上相比 H.265 压缩效率提升达30% 以上目前已经进入了最终的标准投票阶段。
AVS3 是国内提出的标准它的 phase1 是瞄准 H.266 标准的并且在2019 年3 月份就已经制定完成率先推出在2019 年9 月份华为海思也同步推出了 AVS3 8K 的解码芯片AVS3 相对H.265 性能提升了20% 以上并且针对娱乐视频和监控视频做了很多针对性的设计性能上还可进一步提升。
H.266 实际已经基本定稿它的压缩效率在4K 视频场景下相较于 H.265 能提升40% 左右其解码复杂度相对提升60%目前看最大的问题还是专利政策不够透明而且专利费可能比较高推广节奏可能相对比较慢。
EVC 也基本定稿 而且其压缩效率也能提升30% 左右解码复杂度相对 H.265 增加60%。其专利收费可能相对比较低第二是他的专利收费比较透明和明确目前主要依靠三星、华为、高通来做产业的推动和生态的构建。
AVS3 在2019 年3 月份推出在性能上还是有保证的压缩效率能够提升25%复杂度增加相对较低其专利收费也是比较低的正通过互联网等行业做产业的推动和生态构建目前实际上有很多联盟和公司正在做推动我们也希望 AVS3 尽快落地。
表格中没有列举 AV1 的数据这主要是因为它和其他三个标准不太一样AV1 开源软件实际上是瞄准商用化去做的大家也比较清楚其压缩效率和解码复杂度。AV1 有个很大的优势就是没有专利费这是 AOM 联盟的承诺。在产业落地方面 AV1 做的很好生态构建走的较前。
2.2 AI编码 下一代视频编码标准还有一个趋势就是 AI 编码这一块实际上从 HEVC、VVC 标准制定就有提出但因为考虑计算复杂度以及 AI 硬件普适性都暂时搁置了。但这是个技术趋势。
AI 编码包括两个演进思路 第一个是全新架构类似于图像编码实际上 AI 的图像编码已经取得了不错的成效谷歌牵头的 AI 图像编码技术都已经得到了很好地应用但针对视频中的应用还在探索过程中。所谓的全新架构就是不用传统架构视频进入黑盒后会得出一个压缩过的视频这个视频可能没有块划分也没有各种其他的方式它的压缩效率会非常高但这一切还处于研究的过程中。
另外一个思路是基于经典架构对每个架构里的模块做增强。例如针对块划分、变换、矢量量化、帧内预测做不同的 AI 网络适应和增强。实际上华为也在做这方面的研究未来可能会提出一些 AI 编码方面的论文或提案。并且我们认为 AI 编码的这两种思路最终将是融合设计的过程不会呈相互孤立的状态。
华为云视频应用和实践
3.1 云视频简介 上面简单介绍了下一代视频编码标准技术下面介绍一下从实际商用及非标角度介绍一下华为云视频在视频编码技术上的应用和实践。
首先介绍一下华为云视频华为云视频是从2017 年开始构建的目前包括两大类业务一种是比较传统的直播、点播、媒体处理以及监控业务另一种是整个行业正在新晋的服务比如 RTC、VR/AR 以及超高清直播。华为云视频面向很多的场景例如娱乐直播、短视频、在线教育、企业直播、4K 直播、4K 制作等等我们致力于帮助行业客户、伙伴、开发者、ISV 快速上线应用并帮他们构建差异化的竞争力实现商业闭环。这里需要重点提一下 RTCRTC 是华为云视频对下一代视频的理解并作出了实际的推动针对 RTC我们重点构建超低时延、音视频质量等差异化竞争力。
3.2 视频编码技术 3.2.1视频编码框架 结合今天的主题下面重点讲解华为云视频在视频编码技术上的一些工作。这些技术得力于华为2012 媒体技术院全力支持。编码内核采用了一个标准的编码器类似于前面提到的 H.264、H.265、AVS3、H.266 或者 EVC 这一类在这个编码内核的基础上我们面向不同的场景做了不同的编码技术的优化和实践。比如面向 RTC 实时音视频场景采用低时延编码技术面向 VR 场景采用 FOV tile 编码面向多视角场景采用空间云边协同编码面向监控场景采用智能语义编码面向直播、点播采用感知编码和画质增强等另外华为云视频借助鲲鹏、昇腾两大专有硬件加速视频编转码效率。鲲鹏主要面向 CPU 这类计算昇腾主要面向 AI 方面的加速。
3.1.2标准编码内核 接下来分别介绍一下视频编码的技术第一是编码内核华为云在商用编码器上面也有很多的技术积累。比如说近几年在 MSU 的大赛上HW265 编码器连续两年获得多项测评的第1 名今年我们也会向 MSU 推出新的编码器。
3.2.3 高清低码 第二个技术是高清低码高清低码目前在各个厂商或者商业领域里是大家比较默认的技术也就是说在基于标准编码内核的基础上能降低码率的同时保证主观质量没有下降但实际上高清低码理论可行性是现有视频编码是基于香农定理它的率失真模型都是连续的但是人眼视觉模型是阶梯性非连续的在这个阶梯上存在一个降码率的空间。
高清低码一般情况下包括三个模块 第一是基于人眼 JND 模型就是说如何找出 JND 第二是基于 JND 去做感知编码 第三就是通过感知编码来控制标准编码内核输出在主观质量不变的情况下大幅降低码率。
高清低码技术现在也走到了一个瓶颈期原有高清低码的考虑仅来源于编码与传输信道随着 AI 技术的发展是否还有进一步的发展空间
超低时延编码 RTC 场景是我们面向下一代视频产业重点打造的服务能力RTC 场景下主要是超低时延的编码我们提出了一个综合的超低时延方案比如编码和渲染联合优化、编码的内核以及分层编码和信源信道协同等技术手段面向不同的实时场景会做不同的组合或者应用我们初步试验发现在1080P 这种场景下进行编码和解码整体的时延能达到十毫秒级别。
下一代视频编码技术
从上图可以看出下一代的视频编码标准大概分为三个阵营或者三个类型 国际标准由 MPEG、VVC 联合推动的像 VVC/H.266还有 EVC。 国内标准国内标准组织正在推出或已经推出 AVS3 的 phase1、AVS3 的 phase2两者主要差别在于 AVS3 第1 阶段标准瞄准 H.266第二阶段的标准则是瞄准未来, 可能会加入一些智能编码的技术。 谷歌牵头的 AOM 联盟推出的 AV1是一个开源技术。
下一代的视频编码技术仍是采用传统的演进思路——在经典架构上做模块增强。在H.266CFP 时华为联合其他几家公司提了 P41 提案在 PSNR 和 MOS 评估方面都是排名第一这个提案也是后面的基础。华为在 VVC 里的核心专利数量已属于第一阵营这是一个了不起的成就也说明了国内的视频压缩编码基础研究实际上不弱于欧美传统的公司。
以 VVC 为例对其新增的增强工具进行盘点。纵轴是每个工具的压缩收益横轴是每个工具编解码复杂度编码复杂度的权重可能会更高一点。VVC 在块划分、帧内预测、帧间预测、熵编码、变换量化等多个模块上进行了增强其中主要的增强是帧内、帧间预测、块划分、滤波的增强以及机器学习工具演进带来的收益。VVC 暂时没有引入深度学习这一类编码工具。
图中还有三个用红圈标出来的工具这是 VVC 中公认 trade off 比较好的三个工具点。蓝色的是 ALF这是大家比较熟悉的自适应环路滤波其实它在 H.265的时代就已经有了 H.266 将它引入标准中绿色的是仿射运动预测这个主要是由华为提出的橙色的是量化技术。
EVC 标准的提出某种程度是因为 H.265/H.266的专利政策不友好有可能导致 H.266 的落地都比较困难。MPEG 希望能通过一个新的专利友好的标准来推动落地同时也促使改变 H.266、H.265 的专利授权政策。EVC 由华为、三星、高通等共同提出推动华为在这里面加入了很多技术。在标准立项时期望它比 H.265 的压缩性能提升20%实测在4K 娱乐视频上相比 H.265 压缩效率提升达30% 以上目前已经进入了最终的标准投票阶段。
AVS3 是国内提出的标准它的 phase1 是瞄准 H.266 标准的并且在2019 年3 月份就已经制定完成率先推出在2019 年9 月份华为海思也同步推出了 AVS3 8K 的解码芯片AVS3 相对H.265 性能提升了20% 以上并且针对娱乐视频和监控视频做了很多针对性的设计性能上还可进一步提升。
H.266 实际已经基本定稿它的压缩效率在4K 视频场景下相较于 H.265 能提升40% 左右其解码复杂度相对提升60%目前看最大的问题还是专利政策不够透明而且专利费可能比较高推广节奏可能相对比较慢。
EVC 也基本定稿 而且其压缩效率也能提升30% 左右解码复杂度相对 H.265 增加60%。其专利收费可能相对比较低第二是他的专利收费比较透明和明确目前主要依靠三星、华为、高通来做产业的推动和生态的构建。
AVS3 在2019 年3 月份推出在性能上还是有保证的压缩效率能够提升25%复杂度增加相对较低其专利收费也是比较低的正通过互联网等行业做产业的推动和生态构建目前实际上有很多联盟和公司正在做推动我们也希望 AVS3 尽快落地。
表格中没有列举 AV1 的数据这主要是因为它和其他三个标准不太一样AV1 开源软件实际上是瞄准商用化去做的大家也比较清楚其压缩效率和解码复杂度。AV1 有个很大的优势就是没有专利费这是 AOM 联盟的承诺。在产业落地方面 AV1 做的很好生态构建走的较前。
