中国工商网注册官网,网站seo查询,aspcms,电商网站建设实训(互联网营销大赛)⚠申明#xff1a; 未经许可#xff0c;禁止以任何形式转载#xff0c;若要引用#xff0c;请标注链接地址。 全文共计3077字#xff0c;阅读大概需要3分钟 #x1f308;更多学习内容#xff0c; 欢迎#x1f44f;关注#x1f440;【文末】我的个人微信公众号#xf… ⚠申明 未经许可禁止以任何形式转载若要引用请标注链接地址。 全文共计3077字阅读大概需要3分钟 更多学习内容 欢迎关注【文末】我的个人微信公众号不懂开发的程序猿 个人网站https://jerry-jy.co/ ❗❗❗知识付费止白嫖有需要请后台私信或【文末】个人微信公众号联系我 语音识别--使用YAMNet识别环境音 使用YAMNet识别环境音一、任务需求二、任务目标1、学习TF Hub使用2、学习YAMNet网络3、学习tf模型推理 三、任务环境1、jupyter开发环境2、python3.63、tensorflow2.4 四、任务实施过程1、导入 TensorFlow 和其他库2、从 TensorFlow Hub 加载 YAMNet3、加载类映射4、运行推理 五、任务小结 说明 使用YAMNet识别环境音 一、任务需求
YAMNet是一个预训练的深度神经网络可以从521 个类别中预测音频事件例如笑声、吠叫或警报声。
YAMNet采用MobileNetV1深度可分离卷积架构。它可以使用音频波形作为输入并对来自AudioSet语料库的 521 个音频事件中的每一个进行独立预测。
在内部该模型从音频信号中提取“帧”并批量处理这些帧。此版本的模型使用 0.96 秒长的帧每 0.48 秒提取一帧。
该模型接受包含任意长度波形的一维 float32 张量或 NumPy 数组表示为范围内的单通道单声道16 kHz 样本[-1.0, 1.0]。本教程包含帮助我们将 WAV 文件转换为支持格式的代码。
该模型返回 3 个输出包括类分数、嵌入我们将用于迁移学习和对数梅尔谱图。
YAMNet 的一个特定用途是作为高级特征提取器 - 1,024 维嵌入输出。我们将使用基础 (YAMNet) 模型的输入特征并将它们输入由一个隐藏tf.keras.layers.Dense层组成的较浅层模型。然后我们将使用少量数据训练网络以进行音频分类而无需大量标记数据和端到端训练。
首先我们将测试模型并查看对音频进行分类的结果。然后我们将构建数据预处理管道。
要求加载并使用 YAMNet 模型进行推理。 使用 YAMNet 嵌入构建一个新模型来对环境音进行分类。 评估并导出您的模型。
二、任务目标
1、学习TF Hub使用
2、学习YAMNet网络
3、学习tf模型推理
三、任务环境
1、jupyter开发环境
2、python3.6
3、tensorflow2.4
四、任务实施过程
1、导入 TensorFlow 和其他库
这里我们要载入tensorflow_io帮助我们轻松地从磁盘加载音频文件。
import osfrom IPython import display
import matplotlib.pyplot as plt
import numpy as np
import pandas as pdimport tensorflow as tf
import tensorflow_hub as hub
import tensorflow_io as tfio2、从 TensorFlow Hub 加载 YAMNet
使用来自Tensorflow Hub的预训练 YAMNet 从声音文件中提取嵌入。
从 TensorFlow Hub 加载模型很简单选择模型复制其 URL然后使用load函数。
yamnet_model_handle https://tfhub.dev/google/yamnet/1
yamnet_model hub.load(yamnet_model_handle)当然这会涉及到网络下载需要联网并能顺利访问对应网址。为了避免不稳定的情况发生我们下载好了模型存放在/home/jovyan/datas/yamnet中然后使用离线方式加载模型这与上述在线方式并没有什么不同。
yamnet_model_handle /home/jovyan/datas/yamnet
yamnet_model hub.load(yamnet_model_handle)加载示例文件
testing_wav_file_name /home/jovyan/datas/miaow_16k.wav现在我们还需要一个函数来加载音频文件稍后在处理训练数据时也会用到它。
# 定义函数加载音频文件并确保采样率是正确的tf.function
def load_wav_16k_mono(filename): 加载一个WAV文件将其转换为浮点tensor重新采样到16khz单通道音频 file_contents tf.io.read_file(filename)wav, sample_rate tf.audio.decode_wav(file_contents,desired_channels1)wav tf.squeeze(wav, axis-1)sample_rate tf.cast(sample_rate, dtypetf.int64)wav tfio.audio.resample(wav, rate_insample_rate, rate_out16000)return wavtesting_wav_data load_wav_16k_mono(testing_wav_file_name)_ plt.plot(testing_wav_data)display.Audio(testing_wav_data,rate16000)这是我们读取的样本之一以上展示了声音内容及对应的波形图。
3、加载类映射
加载 YAMNet 能够识别的类名很重要。映射文件yamnet_model.class_map_path()以 CSV 格式存在。
class_map_path yamnet_model.class_map_path().numpy().decode(utf-8)
class_names list(pd.read_csv(class_map_path)[display_name])for name in class_names[:20]:print(name)
print(...)Speech
Child speech, kid speaking
Conversation
Narration, monologue
Babbling
Speech synthesizer
Shout
Bellow
Whoop
Yell
Children shouting
Screaming
Whispering
Laughter
Baby laughter
Giggle
Snicker
Belly laugh
Chuckle, chortle
Crying, sobbing
...4、运行推理
YAMNet 提供帧级别的类分数即每帧 521 分。为了确定剪辑级别的预测可以跨帧按类别聚合分数例如使用平均值或最大聚合。这是由下面完成的scores_np.mean(axis0)。最后要在剪辑级别找到得分最高的类我们需要取 521 个汇总分数中的最大值。
scores, embeddings, spectrogram yamnet_model(testing_wav_data)
class_scores tf.reduce_mean(scores, axis0)
top_class tf.argmax(class_scores)
inferred_class class_names[top_class]print(fThe main sound is: {inferred_class})
print(fThe embeddings shape: {embeddings.shape})The main sound is: Animal
The embeddings shape: (13, 1024)五、任务小结
本实验完成学习使用TF Hub预训练模型相关内容通过本实验我们学习到了加载并使用 YAMNet 模型进行推理相关知识需要掌握以下知识点
tfhub的使用方法YAMNet网络的调用方法模型的加载和使用方法模型评估方法
–end–
说明
本实验项目/论文若有需要请后台私信或【文末】个人微信公众号联系我
