根据音频中的不同讲述人声音进行分离音频 | 基于ai的说话人声音分离项目

0.研究背景

在实际的开发中可能会遇到这样的问题，老板让你把音频中的每个讲话人的声音分离成不同的音频片段。你可以使用au等专业的音频处理软件手动分离。但是这样效率太慢了，现在ai这么发达，我们能否借助ai之力来分离一条音频中的不同的说话人呢？答案是肯定可以的。
这里将利用声纹识别加上语音识别来对音频中不同的说话人进行语者分离。

1.技术选择

市面上开源的声纹识别和语音识别项目有很多，比如funasr,cam++就是两个不错的选择，并且funasr是国内大厂阿里巴巴旗下开源的一个集成了ASR和标点符号预测，声纹识别，声纹对比等众多模型的一个工具框架。那么本次项目就是基于funasr进行编程开发的。

2.项目源码

项目已经开源到我的代码仓库中，大家可以访问https://github.com/lukeewin/AudioSeparationGUI
如果国内的小伙伴们不方便访问github那么也可以访问gitee，https://gitee.com/lukeewin/AudioSeparationGUI

3.项目功能

改项目支持对音频中每个说话人进行分离，不限制说话人数量，比如你的音频中存在10个说话人，也是可以进行分离的。
同时改项目还支持对分离后的音频，把相同的说话人讲的声音合并在一个音频文件中。
除了支持音频的分离外，该项目还支持分隔视频片段，通过声音驱动分隔视频，形成视频片段。

4.项目部分核心功能代码

这里这粘贴部分核心功能代码，如果需要看详细代码，可以到上面提到的代码仓库中下载。

def trans():if len(selected_file_list) != 0 and save_path.get() != '' and save_path.get() is not None:for audio in selected_file_list:if os.path.exists(audio):audio_name = os.path.splitext(os.path.basename(audio))[0]_, audio_extension = os.path.splitext(audio)show_info_label.config(text=f'正在执行中，请勿关闭程序。{audio}')speaker_audios = {}  # 每个说话人作为 key，value 为列表，列表中为当前说话人对应的每个音频片段# 音频预处理try:audio_bytes, _ = (ffmpeg.input(audio, threads=0, hwaccel='cuda').output("-", format="wav", acodec="pcm_s16le", ac=1, ar=16000).run(cmd=["ffmpeg", "-nostdin"], capture_stdout=True, capture_stderr=True))res = model.generate(input=audio_bytes, batch_size_s=300, is_final=True, sentence_timestamp=True)rec_result = res[0]asr_result_text = rec_result['text']if asr_result_text != '':sentences = []for sentence in rec_result["sentence_info"]:start = to_date(sentence["start"])end = to_date(sentence["end"])if sentences and sentence["spk"] == sentences[-1]["spk"]:sentences[-1]["text"] += "" + sentence["text"]sentences[-1]["end"] = endelse:sentences.append({"text": sentence["text"], "start": start, "end": end, "spk": sentence["spk"]})# 剪切音频或视频片段i = 0for stn in sentences:stn_txt = stn['text']start = stn['start']end = stn['end']# tmp_start = to_milliseconds(start)# tmp_end = to_milliseconds(end)# duration = round((tmp_end - tmp_start) / 1000, 3)spk = stn['spk']# 根据文件名和 spk 创建目录date = datetime.now().strftime("%Y-%m-%d")final_save_path = os.path.join(save_path.get(), date, audio_name, str(spk))os.makedirs(final_save_path, exist_ok=True)# 获取音视频后缀file_ext = os.path.splitext(audio)[-1]final_save_file = os.path.join(final_save_path, str(i)+file_ext)spk_txt_path = os.path.join(save_path.get(), date, audio_name)spk_txt_file = os.path.join(spk_txt_path, f'spk{spk}.txt')spk_txt_queue.put({'spk_txt_file': spk_txt_file, 'spk_txt': stn_txt, 'start': start, 'end': end})i += 1try:if file_ext in support_audio_format:(ffmpeg.input(audio, threads=0, ss=start, to=end, hwaccel='cuda').output(final_save_file).run(cmd=["ffmpeg", "-nostdin"], overwrite_output=True, capture_stdout=True,capture_stderr=True))elif file_ext in support_video_format:final_save_file = os.path.join(final_save_path, str(i)+'.mp4')(ffmpeg.input(audio, threads=0, ss=start, to=end, hwaccel='cuda').output(final_save_file, vcodec='libx264', crf=23, acodec='aac', ab='128k').run(cmd=["ffmpeg", "-nostdin"], overwrite_output=True, capture_stdout=True,capture_stderr=True))else:print(f'{audio}不支持')except ffmpeg.Error as e:print(f"剪切音频发生错误，错误信息：{e}")# 记录说话人和对应的音频片段，用于合并音频片段if spk not in speaker_audios:speaker_audios[spk] = []  # 列表中存储音频片段speaker_audios[spk].append({'file': final_save_file, 'audio_name': audio_name})ret = {"text": asr_result_text, "sentences": sentences}print(f'{audio} 切分完成')result_queue.put(f'{audio} 切分完成')show_info_label.config(text=f'{audio} 切分完成')print(f'转写结果：{ret}')# 存入合并队列audio_concat_queue.put(speaker_audios)else:print("没有转写结果")except Exception as e:print(f"转写异常：{e}")else:print("输入的文件不存在")messagebox.showinfo("提醒", "输入的文件不存在")else:print("没有填写输入输出")messagebox.showinfo("提醒", "没有填写选择文件或保存路径")