微众银行正申请一项名为“语音大模型训练方法、装置、设备、存储介质以及产品”的发明专利。其申请于2024年8月22日,公布于2024年10月15日,涉及语音识别技术领域。
方法应用于待训练的语音大模型,包括:获取当前批次的训练样本集,其中包括语音标注样本集;将当前批次的训练样本集输入到语音大模型中,得到文本推理结果;基于文本推理结果以及语音标注样本集,确定当前批次的训练样本集中多个训练样本各自对应的困难程度估计值;基于各困难程度估计值,对当前批次的训练样本集进行优化,得到优化后的训练样本集,基于优化后的训练样本集更新语音大模型的模型参数;获取下一批次的训练样本集,并将其确定为新的当前批次的训练样本集以进行下一批次训练;返回执行将当前批次的训练样本集输入到语音大模型中,得到文本推理结果的步骤,以此迭代,直至满足预设训练结束条件后,获得训练完成的语音大模型。
更具体的,文本推理结果包括当前批次的训练样本集对应的当前推理文本和当前模型推理置信度。基于文本推理结果以及语音标注样本集&