2

我的主要目标是将 mfcc 功能提供给 ANN。

但是我被困在数据预处理步骤中，我的问题有两个部分。
背景：
我有一个音频。我有一个 txt 文件，其中包含如下注释和时间戳： 

0.0 2.5 Music  
2.5 6.05 silence  
6.05 8.34 notmusic  
8.34  12.0  silence  
12.0  15.5 music

我知道对于单个音频文件，我可以使用 librosa 计算 mfcc，如下所示：

import librosa
y, sr = librosa.load('abcd.wav')
mfcc=librosa.feature.mfcc(y=y, sr=sr)

第 1 部分：我无法解决两件事：
如何根据注释中的段计算 mfcc。

第 2 部分：如何最好地存储这些 mfcc 以将它们传递给 keras DNN。即是否应将每个音频段计算的所有 mfcc 保存到单个列表/字典中。或者最好将它们保存到不同的字典中，以便属于一个标签的所有 mfcc 都在一个位置。

我是音频处理和 python 的新手，所以我愿意接受有关最佳实践的建议。

非常乐意提供更多详细信息。谢谢。

4

1 回答 1

4

第 1 部分：MFCC 到标签的转换

从 librosa 文档中这并不明显，但我相信 mfcc 的计算速度约为 23mS 帧速率。上面的代码mfcc.shape将返回(20, x)其中 20 是特征数，x 对应于 x 帧数。mfcc的默认hop_rate值为 512 个样本，这意味着每个 mfcc 样本跨越大约 23mS (512/sr)。

使用它，您可以计算哪个帧与文本文件中的哪个标签一起使用。例如，标签Music从 0.0 到 2.5 秒，因此 mfcc 帧 0 到 2.5*sr/512 ~= 108。它们不会完全相等，因此您需要对值进行四舍五入。

第 2A 部分：DNN 数据格式

对于输入（mfcc 数据），您需要弄清楚输入的样子。您将拥有 20 个特征，但您是想在网络中输入单个帧还是要提交时间序列。您的 mfcc 数据已经是一个 numpy 数组，但是它的格式为（特征，示例）。您可能希望将其反转为 Keras 的输入。你可以用它numpy.reshape来做到这一点。

对于输出，您需要为文本文件中的每个标签分配一个数值。通常，您会将 存储tag to integer在字典中。然后，这将用于为网络创建训练输出。每个输入样本应该有一个输出整数。

第 2B 部分：保存数据

最简单的方法是使用pickle保存并稍后重新加载。我喜欢使用一个类来封装输入、输出和字典数据，但你可以选择适合你的任何东西。

于 2018-01-19T05:13:05.887 回答