石家庄net网站开发,php响应式个人博客网站设计,在西宁做网站可以吗,购物网站制作公司1. 音频基础
1.1 音频基本概念
1.1 频率#xff1a;声波的频率#xff0c;即声音的音调#xff0c;人类听觉的频率(音调)范围为20Hz--20KHz 1.2 振幅#xff1a;即声波的响度#xff0c;通俗的讲就是声音的高低#xff0c;一般男生的声音振幅(响度)大于女生。 1.3 波形…1. 音频基础
1.1 音频基本概念
1.1 频率声波的频率即声音的音调人类听觉的频率(音调)范围为20Hz--20KHz 1.2 振幅即声波的响度通俗的讲就是声音的高低一般男生的声音振幅(响度)大于女生。 1.3 波形即声音的音色 采样就是只在时间轴上对信号进行数字化。如图 1.3 采样和采样率采样是把连续的时间信号变成离散的数字信号采样率是指每秒钟采集多少个样本。采样频率为44.1kHz44.1kHz就是代表1秒会采样44100次。
1.4 量化量化就是采样的表示。量化是指在幅度轴上对信号进行数字化。
整个过程如图所示 1.5 编码按照一定的格式记录采样和量化后的数字数据。
音频裸数据格式就是脉冲编码调制PCM数据。
1.2 音频处理基础
1.1 噪声抑制
1.2 回声消除
1.3 自动增益控制
1.4 静音检测
1.5 舒适噪音产生
1.3 常见音频格式
1.wav格式是最早的数字音频格式被 Windows 平台及其应用程序广泛支持压缩率低。
2.MP3格式MP3 能够以 高音质、低采样率对数字音频文件进行压缩。应用最普遍。
3.RealAudio可以实时传输音频信息尤其是在网速较慢的情况下仍然可以较为流畅地传送数据因此RealAudio 主要适用于网络上的在线播放 。
4.AAC更多种采样率和比特率、多种语言的兼容能力、更高的解码效率。AAC 可以在比 MP3 文件缩小 30%的前提下提供更好的音质。
5.APE 种无损压缩音频格式,在音质不降低的前提下大小压缩到传统无损格式WAV 文件的一半。
1.4 混音技术
混音顾名思义就是把两路或者多路音频流混合在一起形成一路音频流。
混流则是指音视频流的混合也就是视频画面和声音的对齐也称混流。
音频重采样重采样即是将音频进行重新采样得到新的采样率的音频。 比如在播放音乐的过程中来了一个提示音就需要把音乐和提示音都混合到 codec 输
出音乐的原始采样率和提示音的原始采样率可能是不一致的。
问题来了如果 codec 的采样率设置为音乐的原始采样率的话那么提示音就会失真。
因此最简单见效的解决方法是codec 的采样率固定一个值44.1KHz/48KHz所有
音轨都重采样到这个采样率然后才送到 codec保证所有音轨听起来都不失真。
2. 音频编码
2.1 音频编码
1.压缩编码 压缩掉冗余的信号冗余信号是指不能被人耳感知到的信号包括人耳听觉范围之外的音频信号以及被掩蔽掉的音频信号。 模拟音频信号 转换为 数字信号 需要经过 采样 和 量化。 量化的过程被称之为编码根据不同的量化策略产生了许多不同的编码方式常见的编码方式有PCM 和 ADPCM这些数据代表着无损的原始数字音频信号。 音频编解码常用的三种实现方案 1采用专用的音频芯片对语音信号进行采集和处理音频编解码算法集成在硬件内部如 MP3 编解码芯片、语音合成分析芯片等。使用这种方案的优点就是处理速度块设计周期短缺点是局限性比较大不灵活难以进行系统升级。 2是利用 A/D 采集卡加上计算机组成硬件平台音频编解码算法由计算机上的软件来实现。使用这种方案的优点是价格便宜开发灵活并且利于系统的升级缺点是处理速度较慢开发难度较大。 3使用高精度、高速度的 A/D 采集芯片来完成语音信号的采集使用可编程的数据处理能力强的芯片来实现语音信号处理的算法然后用 ARM 进行控制。采用这种方案的优点是系统升级能力强可以兼容多种音频压缩格式甚至未来的音频压缩格式系统成本较低缺点是开发难度较大设计者需要移植音频的解码算法到相应的 ARM 芯片中去。 2.2 音频编码三类方法 1.波形编码是尽量保持输入波形不变即重建的语音信号基本上与原始语音信号波形相同压缩比较低 2.参数编码是要求重建的信号听起来与输入语音一样但其波形可以不同它是以语音信号所产生的数学模型为基础的一种编码方法压缩比较高 3.混合编码是综合了波形编码的高质量潜力和参数编码的高压缩效率的混合编码的方法这类方法也是目前低码率编码的方向。 3. 视频基础 3.1 视频基础概念 图像是由很多“带有颜色的点”组成的。这个点就是“像素点”。 像素是图像显示的基本单位。 我们说一幅图片的大小例如是 1920×1080就是宽度为 1920 个像素点高度为1080 个像素点。 1. 视频文件格式 常见的视频文件格式如 1.avi2.mpg 这些都叫做视频的文件格式。 2. 视频封装格式 AVIMPEGVOB 是一种视频封装格式相当于一种储存视频信息的容器。 3. 视频编码方式 1H26X系列MPEG系列 4.ffmpeg使用 1.查版本号 2.显示 可用复用器/可用解复用器/可用编解码器/可用解码器/可用编码器 -muxers/ -demuxers/ -codecs/ -decoders/ -encoders 3.ffplay使用 q 退出 空格 暂停 m 静音 s 逐帧播放 -an 禁用音频不播放声音 -vn 禁用视频不播放视频 -sn 禁用字幕不显示字幕 -acodec codec_name 强制使用设置的音频解码器进行音频解码 -vcodec codec_name 强制使用设置的视频解码器进行视频解码 禁用音频ffplay test.mp4 -an 禁用视频ffplay test.mp4 -vn 强制解码器h264解码器ffplay -vcodec h264 test.mp4 保留封装格式 ffmpeg -i test.mp4 -acodec copy -vn audio.mp4 ffmpeg -i test.mp4 -vcodec copy -an video.mp4 提取视频 保留编码格式ffmpeg -i test.mp4 -vcodec copy -an test_copy.h264 强制格式ffmpeg -i test.mp4 -vcodec libx264 -an test.h264 提取音频 保留编码格式ffmpeg -i test.mp4 -acodec copy -vn test.aac 强制格式ffmpeg -i test.mp4 -acodec libmp3lame -vn test.mp3
