站群论坛,免费的html网站,深圳建设网站,网站设计规划思路一 实时超分音频同步问题:
处理方向#xff1a;
按照胡学长的办法尝试: 前面处理视频, 将视频中音频提取出来, 将音频每隔 1-2 秒保存为一段 (这样将音频缓存在内存中) , 然后依次播放, 但是音频是44.1KHz采样率#xff0c;每秒44100次的频率. 每次间隔中程序处理的极短时间…一 实时超分音频同步问题:
处理方向
按照胡学长的办法尝试: 前面处理视频, 将视频中音频提取出来, 将音频每隔 1-2 秒保存为一段 (这样将音频缓存在内存中) , 然后依次播放, 但是音频是44.1KHz采样率每秒44100次的频率. 每次间隔中程序处理的极短时间也会出现不可在这里插入代码片避免的卡顿现象(人耳可以感觉到极短时间的声音卡顿). 底层全部实现的话,确实是需要一定时间.查看ffmpeg 和 ffplay文档 ffplay -i .\1_output_audio.aac -af adelay2000|2000 使用 -af 参数, 应用音频滤镜达到延迟效果。 ffmpeg -i .\1.mp4 -itsoffset 2 -i .\1_output_audio.aac -map 0:v -map 1:a -c:v copy -c:a aac output.mp4 使用-itsoffset 2 参数设置输入时间戳的偏移量, 将输入音频流的时间戳延迟 2 秒。 ffmpeg 解转码延迟, ffplay播放延迟均是一种可行性方案.
实际效果
1. 离线视频
实现一段离线360P视频实时超分音视频同步可以在康佳进行演示。
2. 视频流
视频流中音频延迟稳定播放已经解决。我使用摄像头的视频流模拟实际电视视频流 实现了音频的5秒延迟可设置延迟时间详细说明可见以下博文
https://blog.csdn.net/SZ170110231/article/details/143449223?fromshareblogdetailsharetypeblogdetailsharerId143449223sharereferPCsharesourceSZ170110231sharefromfrom_link
二 环境部署
康佳PC机部署超分环境condapythontorch ffmpeg等。RK3588重装系统从零开始部署了全套环境。
下周计划
板端整套的代码实现整个演示系统。模型推理优化加速。
