电脑做服务器发布网站,网站规划与开发技术,旅游网站设计与实现开题报告,劳务公司网站建设方案鸿蒙开发往期必看#xff1a;
一分钟了解”纯血版#xff01;鸿蒙HarmonyOS Next应用开发#xff01;
“非常详细的” 鸿蒙HarmonyOS Next应用开发学习路线#xff01;#xff08;从零基础入门到精通#xff09; “一杯冰美式的时间” 了解鸿蒙HarmonyOS Next应用开发路… 鸿蒙开发往期必看
一分钟了解”纯血版鸿蒙HarmonyOS Next应用开发
“非常详细的” 鸿蒙HarmonyOS Next应用开发学习路线从零基础入门到精通 “一杯冰美式的时间” 了解鸿蒙HarmonyOS Next应用开发路径 概述
openharmony中实现RTSPServer播放视频主要分为如下5部分。其中视频采集与视频编码平台芯片3518EV300与3516DV300已支持将编码后的视频数据(H.265)存放至环形缓冲区最后通过RTSPServer发送RTSPClient由VLC播放器实现。 RTSPServer实现
RTSP流媒体播放实现主要涉及两个线程1、将编码后的视频数据存储在环形缓冲区内。2、创建RTSPServer发送环形缓冲区数据。 环形缓冲区
环形缓冲区主要目的是为了将视频编码H.265产生的数据通过RTSPServer实时地发送到RTSPClient端。
H.265数据原理
H.265若干序列集。
序列集1IDR帧1VPS帧1SPS帧1PPS帧1SEI帧若干P帧组成。
每帧通过00 00 00 01分割以后的下一个字节就是NALU网络抽象层单元类型
1 00 00 00 01 40 01 .... 0x40 0x7E 1 值为 32 语义为视频参数集 VPS2 00 00 00 01 42 01 .... 0x42 0x7E 1 值为 33 语义为序列参数集 SPS3 00 00 00 01 44 01 .... 0x44 0x7E 1 值为 34 语义为图像参数集 PPS4 00 00 00 01 4E 01 ....0x4E 0x7E 1 值为 39 语义为补充加强信息 SEI5 00 00 00 01 26 01 .... 0x26 0x7E 1 值为 19 语义为可能有RADL图像的IDR图像的SS编码数据 IDR6 00 00 00 01 02 01 .... 0x02 0x7E 1 值为 1 语义为被参考的后置图像P帧
如下图左边是h265原始数据右边是通过RTP发送去掉头数据。 在进行RTP分包发送时会将IDR、VPS、SPS、PPS、SEI拼凑为一起作为主要帧发送因此头一帧数据 非常重要。
为了解决视频编码与RTSP线程线程同步的问题缓冲区设计如下
文件路径recorder_impl.cpp
实现函数void VideoSourceProcess(const SourceManager *videoSourceManager, const RecorderSink *recorderSink)缓冲区为16*256K长度的数组buff。put为编码线程存放缓冲区偏移值get为RTSPServer线程获取缓冲区的偏移值。 初始情况下put与get的位置均在开头。 当视频编码有数据时填充buff并put向前移。 RTSP通过get将视频编码数据发送然后释放buffget向前移。 当put与get偏移超过16时重新置1其中设置get数据的时间get与put的间隔不会超过3个buff。 RTSPServer
RTSPReal Time Streaming Protocol实时流协议作为一个应用层协议RTSP提供了一个可供扩展的框架它的意义在于使得实时流媒体数据的受控和点播变得可能。总的说来RTSP是一个流媒体表示协议通过RTSP传输控制命令与RTP传输视频流达到控制具有实时特性的数据发送。RTSP可以对流媒体提供诸如播放、暂停、快进等操作它负责定义具体的控制消息、操作方法、状态码等此外还描述了与RTP间的交互操作。 RTSP CClient与 SServer交互流程图解
RTSP 中的 CClient与 SServer交互流程图解 RTSP 关键字段说明
关键字OPTIONS
得到服务器提供的可用方法OPTION、DESCRIBE、SETUP、TEARDOWN、PLAY、PAUSE、SCALE、GET_PARAMETER、SET_PARAMETER。
关键字DESCRIBE
请求流的 SDP 信息。
注解此处需要了解 H265 Law Data 如何生成 SPS PPS 信息。
关键字SETUP
客户端提醒服务器建立会话并建立传输模式。
注解此处确定了 RTP 传输交互式采用 TCP面向连接还是 UDP无连接模式。
关键字PLAY
客户端发送播放请求。
注解此处引入 RTP 协议。
关键字PAUSE
播放暂停请求。
注解此关键字经常用在录像回放当中实时视频流几乎用不到。
关键字:TEARDOWN
客户端发送关闭请求
RTP分包
其中RtpHeaderRtp头加payload(负载数据)。 RtpHeader数据
csrcLen CSC计数在没有RTP混频器的情况下通常为0
extension 扩展名必须为0
padding 填充位不得使用填充默认为0
version 版本号payloadType 数据帧类型h265。
marker 将一帧分片时区分头片seq 序列号为了以每片为单位timestamp 时间戳 以每帧为单位ssrc 数据信源号payload数据
RTP包最大为1400个字节因此打包分为两种。
一种是一个nal单元打包到一个rtp包中。一种是nal单元比较大分片打包在多个rtp中。
单个nal直接发送即可
nal单元比较大分片打包在多个rtp中,分片格式如下 其中PayloadHdr固定为49。FUheader数据为 S置1表示起始片E置1表示最后片FuType就是实际的Nal type类型。
实现代码函数
文件rtp.cpp
实现函数int Rtp::UdpSendFrame(uint8_t *pNalBuf, int s32NalBufSize)
最后
小编在之前的鸿蒙系统扫盲中有很多朋友给我留言有很多小伙伴不知道学习哪些鸿蒙开发技术不知道需要重点掌握哪些鸿蒙应用开发知识点而且学习时频繁踩坑最终浪费大量时间。所以有一份实用的鸿蒙HarmonyOS NEXT路线图、文档、视频、用来跟着学习是非常有必要的。
如果你是一名有经验的资深Android移动开发、Java开发、前端开发、对鸿蒙感兴趣以及转行人员
鸿蒙全栈开发学习笔记 希望这一份鸿蒙学习文档能够给大家带来帮助~ 鸿蒙HarmonyOS NEXT最新学习路线
该路线图包含基础技能、就业必备技能、多媒体技术、六大电商APP、进阶高级技能、实战就业级设备开发不仅补充了华为官网未涉及的解决方案
路线图适合人群
IT开发人员想要拓展职业边界零基础小白鸿蒙爱好者希望从0到1学习增加一项技能。技术提升/进阶跳槽发展瓶颈期提升职场竞争力快速掌握鸿蒙技术
2.视频教程学习PDF文档
鸿蒙语法ArkTS、TypeScript、ArkUI教程…… 纯血版鸿蒙全套学习文档面试、文档、全套视频等 鸿蒙APP开发必备
总结
参与鸿蒙开发你要先认清适合你的方向如果是想从事鸿蒙应用开发方向的话可以参考本文的学习路径简单来说就是为了确保高效学习建议规划清晰的学习路线
