音频变速
如何能在不改变音频其他特点的情况下,只改变语速呢?
有几个python的库可以实现该功能,下面一一介绍。
pydub库
首先,确保安装了pydub和ffmpeg。
下面是一个简单的Python脚本,展示如何改变音频的播放速度:
from pydub import AudioSegment
from pydub.playback import playdef change_speed(audio_file, speed=1.0):sound = AudioSegment.from_file(audio_file)# 增加速度sound_with_altered_speed = sound._spawn(sound.raw_data, overrides={"frame_rate": int(sound.frame_rate * speed)}).set_frame_rate(sound.frame_rate)return sound_with_altered_speed# 加载音频文件
audio_path = "your_audio_file.mp3"
# 改变速度,例如1.5倍速
altered_sound = change_speed(audio_path, speed=1.5)
# 播放修改后的音频
play(altered_sound)
# 导出音频
altered_sound.export("modified_audio.mp3", format="mp3")
change_speed函数接受原始音频文件路径和速度因子。通过修改帧率来改变速度。如果你想要加快速度,可以将速度因子设置为大于1的值;如果想要减慢速度,将其设置为小于1的值。
但是该方法在改变语音的同时,使得音调也发生改变。
librosa库
librosa主要用于音乐和音频分析。它支持音频的时间伸缩(即改变音频速度而不改变音调),并且提供了许多其他音频处理功能。
实现代码:
import librosa
import soundfile as sfaudio_path = 'your_audio_file.wav'
y, sr = librosa.load(audio_path, sr=None) # sr=None 保持原始采样率# 变速处理,比如加速1.5倍
y_change = librosa.effects.time_stretch(y, 1.5)
#保存
sf.write('output_audio_file.wav', y_change, sr)
在改变音频速度的同时保持原有音调,librosa使用了时间拉伸算法(Time Stretching)。
librosa.effects.time_stretch函数是用于调整音频的播放速度,同时不改变音频的音高(音调)。
我们看下这个函数源码:
def time_stretch(y, rate, **kwargs):'''Time-stretch an audio series by a fixed rate.'''if rate <= 0:raise ParameterError('rate must be a positive number')# Construct the short-term Fourier transform (STFT)stft = core.stft(y, **kwargs)# Stretch by phase vocodingstft_stretch = core.phase_vocoder(stft, rate)# Predict the length of y_stretchlen_stretch = int(round(len(y)/rate))# Invert the STFTy_stretch = core.istft(stft_stretch, dtype=y.dtype, length=len_stretch, **kwargs)return y_stretch
可以看到,该函数主要包含三个步骤:
1.音频的频谱表示
首先,librosa.effects.time_stretch利用短时傅里叶变换(STFT)将音频信号从时间域转换到频域。这种转换将音频分解成其组成的频率成分,每个成分都有相应的幅度和相位。
2.相位估计(phase_vocoder)
在进行时间伸缩处理时,保持相位连续性是一个重要的挑战。librosa采用了相位估计技术来调整每个频率成分的相位,以保证在变速过程中音频信号的相位连续性。这是通过相位重构实现的,确保在变速后的音频中,所有频率成分的相位都能正确对齐。
3.相位恢复和重构,重建音频
处理相位信息时,使用相位展开技术,从原始音频中提取和修改相位信息,然后在处理过程中适当调整这些信息以匹配新的时间伸缩率。
最后,将处理过的频谱数据通过逆短时傅里叶变换(ISTFT)重新转换回时间域,生成最终的音频输出。在这一步中,经过调整的幅度和重构的相位信息被合成,以产生时间伸缩后的音频信号。
补充:相位声码器Phase vocoder
相位声码器(phase vocoder)是一种特殊的声码器,用于分析和修改音频信号的频谱相位。它是在数字信号处理中广泛使用的一种工具,特别适用于时间伸缩(改变音频速度而不改变音调)和音高移动(改变音调而不改变速度)。
相位声码器技术可以实现音频的时间伸缩。这一技术是基于频域处理,它可以调整音频的时长而不改变音高,主要依靠精确的相位处理。
先看看源码:
def phase_vocoder(D, rate, hop_length=None):"""Phase vocoder. Given an STFT matrix D, speed up by a factor of `rate`Based on the implementation provided by [1]_... note:: This is a simplified implementation, intended primarily forreference and pedagogical purposes. It makes no attempt tohandle transients, and is likely to produce many audibleartifacts. For a higher quality implementation, we recommendthe RubberBand library [2]_ and its Python wrapper `pyrubberband`... [1] Ellis, D. P. W. "A phase vocoder in Matlab."Columbia University, 2002.http://www.ee.columbia.edu/~dpwe/resources/matlab/pvoc/.. [2] https://breakfastquay.com/rubberband/Parameters----------D : np.ndarray [shape=(d, t), dtype=complex]STFT matrixrate : float > 0 [scalar]Speed-up factor: `rate > 1` is faster, `rate < 1` is slower.hop_length : int > 0 [scalar] or NoneThe number of samples between successive columns of `D`.If None, defaults to `n_fft/4 = (D.shape[0]-1)/2`Returns-------D_stretched : np.ndarray [shape=(d, t / rate), dtype=complex]time-stretched STFTSee Also--------pyrubberband"""n_fft = 2 * (D.shape[0] - 1)if hop_length is None:hop_length = int(n_fft // 4)time_steps = np.arange(0, D.shape[1], rate, dtype=np.float)# Create an empty output arrayd_stretch = np.zeros((D.shape[0], len(time_steps)), D.dtype, order='F')# Expected phase advance in each binphi_advance = np.linspace(0, np.pi * hop_length, D.shape[0])# Phase accumulator; initialize to the first samplephase_acc = np.angle(D[:, 0])# Pad 0 columns to simplify boundary logicD = np.pad(D, [(0, 0), (0, 2)], mode='constant')for (t, step) in enumerate(time_steps):columns = D[:, int(step):int(step + 2)]# Weighting for linear magnitude interpolationalpha = np.mod(step, 1.0)mag = ((1.0 - alpha) * np.abs(columns[:, 0])+ alpha * np.abs(columns[:, 1]))# Store to output arrayd_stretch[:, t] = mag * np.exp(1.j * phase_acc)# Compute phase advancedphase = (np.angle(columns[:, 1])- np.angle(columns[:, 0])- phi_advance)# Wrap to -pi:pi rangedphase = dphase - 2.0 * np.pi * np.round(dphase / (2.0 * np.pi))# Accumulate phasephase_acc += phi_advance + dphasereturn d_stretch
直接调用调用phase_vocoder来实现时间伸缩。这里是一个简单的示例:
import librosa# 加载音频数据
y, sr = librosa.load('audio_file.wav', sr=None)# 计算STFT
D = librosa.stft(y)# 应用相位声码器进行时间伸缩
D_stretched = librosa.core.phase_vocoder(D, rate=1.5)# 通过逆STFT重构音频
y_stretched = librosa.istft(D_stretched)
基本原理: