10

我正在做一个关于python信号处理的项目。到目前为止，我在非阻塞模式下取得了一些成功，但它给输出带来了相当大的延迟和剪辑。

我想使用 Pyaudio 和 Scipy.Signal 实现一个简单的实时音频过滤器，但是在 pyaudio 示例中提供的回调函数中，当我想读取 in_data 时，我无法处理它。尝试以各种方式转换它，但没有成功。

这是我想要实现的代码（从麦克风读取数据，过滤器并尽快输出）：

import pyaudio
import time
import numpy as np
import scipy.signal as signal
WIDTH = 2
CHANNELS = 2
RATE = 44100

p = pyaudio.PyAudio()
b,a=signal.iirdesign(0.03,0.07,5,40)
fulldata = np.array([])

def callback(in_data, frame_count, time_info, status):
    data=signal.lfilter(b,a,in_data)
    return (data, pyaudio.paContinue)

stream = p.open(format=pyaudio.paFloat32,
                channels=CHANNELS,
                rate=RATE,
                output=True,
                input=True,
                stream_callback=callback)

stream.start_stream()

while stream.is_active():
    time.sleep(5)
    stream.stop_stream()
stream.close()

p.terminate()

这样做的正确方法是什么？

4

2 回答 2

9

同时找到了我的问题的答案，回调如下所示：

def callback(in_data, frame_count, time_info, flag):
    global b,a,fulldata #global variables for filter coefficients and array
    audio_data = np.fromstring(in_data, dtype=np.float32)
    #do whatever with data, in my case I want to hear my data filtered in realtime
    audio_data = signal.filtfilt(b,a,audio_data,padlen=200).astype(np.float32).tostring()
    fulldata = np.append(fulldata,audio_data) #saves filtered data in an array
    return (audio_data, pyaudio.paContinue)
于 2014-03-12T14:26:41.133 回答
1

我在尝试使用 PyAudio 回调模式时遇到了类似的问题，但我的要求是：

  • 使用立体声输出（2 个通道）。
  • 实时处理。
  • 使用任意脉冲响应处理输入信号，这可能会在处理过程中发生变化。

几次尝试后我成功了，这是我的代码片段（基于此处找到的 PyAudio 示例）： 

import pyaudio
import scipy.signal as ss
import numpy as np
import librosa   



track1_data, track1_rate = librosa.load('path/to/wav/track1', sr=44.1e3, dtype=np.float64)
track2_data, track2_rate = librosa.load('path/to/wav/track2', sr=44.1e3, dtype=np.float64)
track3_data, track3_rate = librosa.load('path/to/wav/track3', sr=44.1e3, dtype=np.float64)

# instantiate PyAudio (1)
p = pyaudio.PyAudio()
count = 0
IR_left = first_IR_left # Replace for actual IR
IR_right = first_IR_right # Replace for actual IR

# define callback (2)
def callback(in_data, frame_count, time_info, status):
    global count

    track1_frame = track1_data[frame_count*count : frame_count*(count+1)]
    track2_frame = track2_data[frame_count*count : frame_count*(count+1)]
    track3_frame = track3_data[frame_count*count : frame_count*(count+1)]

    track1_left = ss.fftconvolve(track1_frame, IR_left)
    track1_right = ss.fftconvolve(track1_frame, IR_right)
    track2_left = ss.fftconvolve(track2_frame, IR_left)
    track2_right = ss.fftconvolve(track2_frame, IR_right)
    track3_left = ss.fftconvolve(track3_frame, IR_left)
    track3_right = ss.fftconvolve(track3_frame, IR_right)

    track_left = 1/3 * track1_left + 1/3 * track2_left + 1/3 * track3_left
    track_right = 1/3 * track1_right + 1/3 * track2_right + 1/3 * track3_right

    ret_data = np.empty((track_left.size + track_right.size), dtype=track1_left.dtype)
    ret_data[1::2] = br_left
    ret_data[0::2] = br_right
    ret_data = ret_data.astype(np.float32).tostring()
    count += 1
    return (ret_data, pyaudio.paContinue)

# open stream using callback (3)
stream = p.open(format=pyaudio.paFloat32,
                channels=2,
                rate=int(track1_rate),
                output=True,
                stream_callback=callback,
                frames_per_buffer=2**16)

# start the stream (4)
stream.start_stream()

# wait for stream to finish (5)
while_count = 0
while stream.is_active():
    while_count += 1
    if while_count % 3 == 0:
        IR_left = first_IR_left # Replace for actual IR
        IR_right = first_IR_right # Replace for actual IR
    elif while_count % 3 == 1:
        IR_left = second_IR_left # Replace for actual IR
        IR_right = second_IR_right # Replace for actual IR
    elif while_count % 3 == 2:
        IR_left = third_IR_left # Replace for actual IR
        IR_right = third_IR_right # Replace for actual IR

    time.sleep(10)

# stop stream (6)
stream.stop_stream()
stream.close()

# close PyAudio (7)
p.terminate()

以下是对上述代码的一些重要反思：

  • 使用librosa而不是 wave 允许我使用 numpy 数组进行处理，这比来自wave.readframes.
  • 您设置的数据类型必须与字节p.open(format=的格式匹配。ret_dataPyAudiofloat32最多可以使用。
  • 偶数索引字节ret_data进入右侧耳机，奇数索引字节进入左侧耳机。

澄清一下，这段代码将三个轨道的混合发送到立体声输出音频，每 10 秒它会改变脉冲响应，从而应用滤波器。我用它来测试我正在开发的 3d 音频应用程序，以及头部相关脉冲响应 (HRIR) 的脉冲响应，它每 10 秒改变一次声音的位置。

编辑：
此代码有一个问题：输出具有与帧大小相对应的频率噪声（帧大小较小时频率较高）。我通过手动重叠和添加帧来解决这个问题。基本上，ss.oaconvolve返回了一个 size 的数组track_frame.size + IR.size - 1，所以我将该数组分成第一个track_frame.size元素（然后用于ret_data），然后是IR.size - 1我为以后保存的最后一个元素。然后将这些保存的元素添加到IR.size - 1下一帧的第一个元素中。第一帧添加零。

于 2020-05-04T02:25:36.993 回答