绍兴市高速公路建设指挥部网站,网站主页和子页风格如何统一,网站建设案例 星座,全国分类信息网站一、音视频封装格式原理#xff1a; 我们播放的视频文件一般都是用一种封装格式封装起来的#xff0c;封装格式的作用是什么呢#xff1f;一般视频文件里不光有视频#xff0c;还有音频#xff0c;封装格式的作用就是把视频和音频打包起来。 所以我们先要解封装格式#…一、音视频封装格式原理 我们播放的视频文件一般都是用一种封装格式封装起来的封装格式的作用是什么呢一般视频文件里不光有视频还有音频封装格式的作用就是把视频和音频打包起来。 所以我们先要解封装格式看有哪些视频流和哪些音频流此时的音频流和视频流都还是压缩数据不能直接用于显示的这就需要解码。 如FFmpeg 视频文件就是一个容器 (视频流H264 音频流(aac))。 1、视频文件封装格式 封装格式也叫容器就是将已经编码压缩好的视频轨和音频轨按照一定的格式放到一个文件中也就是说仅仅是一个外壳或者大家把它当成一个放视频轨和音频轨的文件夹也可以。 2、音视频编码方式
视频编码方式将视频像素数据RGBYUV 等压缩成视频码流从而降低视频的数据量。包含有HEVC(H265)、H264、MPEG4、MPEG2、VP9等音频编码方式将音频采样数据PCM 等压缩成音频码流从而降低音频的数据量。包含有AAC、MP3、WMV、AC-3。 3、编解码方式和封装格式的关系 「视频封装格式」 视频 音频 视频编解码方式 等信息的容器。 4、RGB/YUV概念 通常我们采用RGB模型来表示颜色RGB模型中每种颜色需要3个数字分别表示R、G、B每个数字占用1个bit字节这样总共需要24bits。 YUV能更高效颜色模型用更少的bit来表示颜色Y——表示亮度也就是灰阶值U和V表示色度分量。 YCbCr颜色模型基本原理 假设我们定义一个 「亮度(Luminance)」 的概念来表示颜色的亮度那它就可以用含 R、G、B 的表达式表示为 Y kr*R kg*G kb*B Y 即「亮度」kr、kg、kb 即 R、G、B 的权重值。 可以定义一个 「色度(Chrominance)」 的概念来表示颜色的差异 Cr R – YCg G – YCb B – Y Cr、Cg、Cb 分别表示在 R、G、B 上的色度分量.。
YUV关键是在于它的亮度信号 Y 和色度信号 U、V 是分离的那就是说即使只有 Y 信号分量而没有 U、V 分量我们仍然可以表示出图像只不过图像是黑白灰度图像。在YCbCr 中 Y 是指亮度分量Cb 指蓝色色度分量而 Cr 指红色色度分量。YCbCr 与 RGB 相互转换的公式 Y 0.299R 0.587G 0.114BCb 0.564(B - Y)Cr 0.713(R - Y)R Y 1.402CrG Y - 0.344Cb - 0.714CrB Y 1.772Cb 二、H264编码框架 视频编码方式就是指通过特定的压缩技术将某个视频格式的文件转换成另一种视频格式的文件的方式。H.264和H265编码是目前视频格式中用得最广泛的编码方式H.264创造了多参考帧、多块类型、整数变换、帧内预测等新的压缩技术使用了更精细的分像素运动矢量(1/4、1/8)和新一代的环路滤波器使得压缩性能大大提高系统更加完善。H.265是ITUTVCEG继H.264之后所制定的新的视频编码标准。H.265标准围绕着现有的视频编码标准H.264保留原来的某些技术同时对一些相关技术加以改进。H.265旨在在有限的带宽下传输更高质量的网络视频仅需要原先的一半带宽即可播放相同质量的视频。 1、H264码流文件分层
VCL(Video Coding Layer视频编码层)负责高效的视频内容表示VCL数据即编码处理的输出它表示被压缩编码后的视频数据序列。NAL(Network AbstractionLayer网络提取层):负责以网络所要求的恰当的方式对数据进行打包和传送是传输层。不管是在本地播放还是在网络上播放都要通过这一层来传输。 2、H264编码原理 H.264/AVC并未明确表述一个编解码器如何实现而是规定了一个编码的视频比特流的句法和该比特流的解码方法因此在实现上有较大的灵活性。H264和以前的H261、H.263、MPEG-1、MPEG-4 等的编解码器功能模块的组成类似不同的部分是其内部各功能模块的细节部分H.264编解码器的功能组成如下 H.264/AVC 编解码器的工作原理。H.264编码器采用变换和预测混合编码方式。编码时首先输入的帧或场Fn以宏块为单位被编码器处理。宏块有帧内和帧间两种模式。帧内模式使用当前帧内已编码的宏块进行预测。帧间模式使用以往一个或多个帧作为参考进行运动预测。然后对预测值和原始值的差值进行变换、量化、重新排序和编码对量化系统X进行逆量化、逆变换后与预测系统相加得到未经滤波的uF*帧对uF*帧进行块间滤波得到当前重构帧 Fn*。而解码过程相对比较简单对于编码器的各部分进行逆向操作结果经逆量化、逆变换后通过滤波器得到重构输出图像。H.264编解码器工作原理如图 3、H264码流分析 H264码流的结构中包含 H264视频序列——图像——片组——片——NALU——宏块 ——像素。从大到小排序
H264编码格式在 VCL数据传输或存储之前这些编码的VCL数据先被映射或封装进NAL单元中。每个NAL单元包括一个原始字节序列负载(RBSPRawByteSequencePayload)和一组对应于视频编码的 NAL 头信息。RBSP的基本结构:在原始编码数据的后面添加了结尾标记一个比特“1”和若干比特“0”以便字节对齐。H.264码流NAL单元序列如图 NAL HeaderNAL头由一个字节组成禁止位1位、重要性指示位2位、NALU类型5位。 RBSP包括一系列的NAL单元每个NAL单元包含一个RBSP。典型的RBSP单元序列。每个单元都按独立的NAL单元传送。NAL单元的信息头(1字节)定义了RBSP单元的类型NAL单元的其余部分为RBSP数据。 SODB String Of Data Bits 原始数据比特流因为它是流的形式所以长度不一定是8倍数它是由 VLC 层产生的。由于我们计算机是以8倍数去处理数据所以计算机在处理H264时就需要 RBSP。RBSPSODB tailing bits 原始字节序列载荷由于它是一个压缩流SODB 不知道是在何处结束所以算法在SODB最后一位补一个1没有按字节对齐的则补 0。EBSP 扩展字节序列载荷在生成压缩流之后在每一帧的开头加一个起始位这个起始位一般是 00 00 00 01 或者是 00 00 01。所以在h264码流中规定每有两个连续的00 00就增加一个0x03。EBSP 和 RBSP的区别NALU的组成部分为NALU NALU Header RBSP严格来说NALU的组成部分为NALU NALU Header EBSP NALU单元中的参数集SPS序列参数集作用于一系列连续的编码图像PSS图像参数集作用于编码视频序列中一个或多个独立的图像。参数集是一个独立的数据单位不依赖于参数集外的其他句法元素。一个参数集不对应某个特定的图像或序列同一序列参数集可以被一个或者多个图像参数集引用。同理同一个图像参数集也可以被一个或者多个图像引用只在编码器认为需要更新参数集的内容时才会发出新的参数集。 NALU中的视频帧生成的H264视频帧是由多个切片组成的。一个H264的帧至少由一个切片组成不能没有切片可以是一个到多个不能没有。在网络传输的时候一个H264帧可能需要切开去传一个一次传不完这就按照切片来切。每一个切片组成一个NAL Unit。切片与宏块的关系在切片数据中包含若干个宏块。在一个宏块中又包含了宏块类型、宏块预测、残差数据。 4、H264码流结构图 5、H264码流NAL单元解码流程 首先从NAL单元中提取出RBSP语法结构然后按照下图所示的流程处理RBSP语法结构。输入的是NAL单元输出结果是经过解码的当前图像的样值点。 NAL单元中分别包含了序列参数集和图像参数集。图像参数集和序列参数集在其他NAL单元传输过程中作为参考使用在这些数据NAL单元的片头中通过语法元素pic_parameter_set_id设置它们所使用的图像参数集编号而相应的每个图像参数集中通过语法元素seq_paramter_set_id设置他们使用的序列参数集编号。 6、H264解码详解 H264是新一代的编码标准以高压缩高质量和支持多种网络的流媒体传输著称在编码方面我理解的他的理论依据是参照一段时间内图像的统计结果表明在相邻几幅图像画面中一般有差别的像素只有10%以内的点,亮度差值变化不超过2%而色度差值的变化只有1%以内。所以对于一段变化不大图像画面我们可以先编码出一个完整的图像帧A随后的B帧就不编码全部图像只写入与A帧的差别这样B帧的大小就只有完整帧的1/10或更小B帧之后的C帧如果变化不大我们可以继续以参考B的方式编码C帧这样循环下去。这段图像我们称为一个序列序列就是有相同特点的一段数据当某个图像与之前的图像变化很大无法参考前面的帧来生成那我们就结束上一个序列开始下一段序列也就是对这个图像生成一个完整帧A1随后的图像就参考A1生成只写入与A1的差别内容。
GOP在H264中图像以序列为单位进行组织一个序列是一段图像编码后的数据流以I帧开始到下一个I帧结束。 GOP序列说明在 H.264协议里定义了3种帧完整编码的帧叫I帧参考之前的I帧生成的只对差异部分进行编码的帧叫P帧还有一种参考前后的帧进行编码的帧叫B帧。在H264中图像以序列为单位进行组织一个序列是一段图像编码后的数据流以帧开始到下一个I帧结束中间部分也被称为一个GOP。一个序列的第一个图像叫作IDR图像(立即刷新图像)IDR图像都是I帧图像。H.264引入IDR图像是为了解码的重新同步当解码器解码到IDR图像时立即将参考帧队列清空将已解码的数据全部输出或抛弃重新查找下一个参数集开始解码一个新的序列。这样如果前一个序列出现重大错误在这里可以获得重新同步的机会。IDR图像之后的图像永远不会使用IDR之前的图像的数据来解码。一个序列就是一段内容差异不太大的图像编码后生成的一串数据流。当运动变化比较少时一个序列可以很长因为运动变化少就代表图像画面的内容变动很小所以就可以是一个Ⅰ帧然后一直是P帧、B帧。当运动变化多时一个序列可能会比较短比如只包含一个I和几个P、B帧。 I帧指帧内编码帧I帧表示关键帧你可以理解为这一帧画面的完整保留;解码时只需要本帧数据就可以完成(因为包含完整画面)。特点如下 它是一个全帧压缩编码帧。它将全帧图像信息进行JPEG压缩编码及传输解码时仅用I帧的数据就可以重构完整图像I帧描述了图像背景和运动主体的详情I帧不需要参考其他画面生成I帧是P帧和B帧的参考帧(其质量直接影响到同组中以后各的质量)I帧是帧组GOP的基础帧(第1帧)在一组中只有一个I帧I帧不需要考虑运动矢量;I帧所占数据的信息量比较大。P帧的预测与重构P帧是以I帧为参考帧,在I帧中找出P帧“某点”的预测值和运动矢量,取预测差值和运动矢量一起传送。在接收端根据运动矢量从I帧中找出P帧“某点”的预测值并与差值相加以得到P帧“某点”样值,从而可得到完整的P帧。 P帧特点如下: P帧是I帧后面相隔1~2帧的编码帧;P帧采用运动补偿的方法传送它与前面的I或P帧的差值及运动矢量(预测误差);解码时必须将I帧中的预测值与预测误差求和后才能重构完整的P帧图像;P帧属于前向预测的帧间编码。它只参考前面最靠近它的I帧或P帧;P帧可以是其后面P帧的参考帧,也可以是其前后的B帧的参考帧;由于P帧是参考帧,它可能造成解码错误的扩散; 7.由于是差值传送,P帧的压缩比较高。B帧双向预测内插编码帧。B帧是双向差别帧也就是B帧记录的是本帧与前后帧的差别具体比较复杂有4种情况但我这样说简单些换言之要解码B帧不仅要取得之前的缓存画面还要解码之后的画面通过前后画面的与本帧数据的叠加取得最终的画面。B帧压缩率高但是解码时CPU会比较累。
