概述

功能优势

在思必驰提供的语音识别自训练平台上,您可以根据识别服务类型、场景、语种、音频采样等选择对应最适合您当前实际场景的基础模型,并对您收集的真实场景的训练语料进行模型自训练,从而针对性的提升该场景下的语音识别准确率。

自训练语言模型对一些垂直场景的固定说法、包含较多专业内容的篇章有很明显的优化效果。

同时,在完成模型训练后,自训练平台还提供模型测试工具。

模型训练

模型类型

语言模型是对词汇、篇章等文本内容上的优化,而文本内容通常可以划分为以下两种类型:
1. 纯文本:无固定规则的大篇幅的段落文本内容,用户说话的内容没有明显的规则,相对比较发散,比如一些大会发言,会议记等。
2. 模板/槽位:用户说话的内容句式相仿,含义相近,可以总结为一类固定的模板,通过将模板中的关键字替换,覆盖绝大多数用户说话的内容。如,当模板是:导航去{城市},其中关键字「城市」可以为上海,北京,深圳等多个词,通过这一句说法可以覆盖多个城市。形如示例中的说法,就成为模板说法,这些关键字就被成为“槽位”,通过正则规则编写模板说外,以及对槽位关键字的补充,可以实现用少量的说法来覆盖大多数的场景。
以上分别对应两种训练类型:纯文本训练以及模板/槽位训练,在创建语言模型时,可以选择使用哪一种训练方式。

语料来源

在自训练平台上,语言模型训练语料按照来源可以分为如下两部分:

1. 本地上传:不管是通过纯文本训练,还是模板/槽位训练,都支持本地上传语料语料的方式。

2. DUI技能:DUI 提供可视化UI 界面,用于编写常见的技能说法和词库,在创建模型时,可以选择 DUI 上创建好的技能,从而对技能中的说法和词库进行训练。

优化建议

  • 训练数据需要是和当前真实应用场景强相关的文本,与识别语音数据越接近,优化效果越好。
  • 对于识别不准确的关键词汇或句子,可以将含该词的句子多复制几行,一般 10~20 行即可,需注意尽量不要只复制单个孤立的词汇,而是整句复制。

说明

  • 语言模型训练主要是针对词汇、术语、句子识别不准确的情况进行优化,前提条件是识别出来的文本拼音(或音频发音)是对的,如【新冠病毒】和【信管病毒】,同音不同字;如果发音上就不一样,建议先进行声学模型的优化,以改善发音效果。声学训练需求可以发申请到:asrsupport_service@aispeech.com
  • 建议经过识别试错,谨慎提供训练语料,避免相同发音的其他内容识别错误。

模型测试

测试工具

对于已经训练发布完成的模型,在正式使用前,如需了解该模型的效果,则可以使用思必驰提供的测试工具,具体如下:

客观/对比测试:通过识别字准确率、识别字错误率等数据,定量的衡量模型效果,尤其是在同一测试集上,不同模型字准数据的变化。

主观测试:上传单条音频,输出识别结果,根据识别结果主观判定识别效果,能够有效的、直观的看到当前模型在某一个 badcase 上的优化效果。

需注意:测试会消耗产品服务用量。

操作举例

以【导航去南京禄口机场】为例,可能会识别为【导航去南京路口机场】,其中“禄口”是关键词,可以将包含这个词的句子换着说法多写一些,如:

“给我导航去禄口机场“

”我要导航去南京禄口机场“

”南京禄口机场“

”南京禄口机场查一下“

”搜一下南京禄口机场的位置“

”替我导航一下南京禄口机场”

”导航去禄口机场“

”导航去南京禄口机场“

”给我导航去南京禄口机场“

……

 

训练流程如下:

  1. 选择基础模型:采用实时短语音识别-通用-中文-16K模型(具体选择何种模型可根据实际场景进行调整)。需要注意全链路产品仅能使用短语音识别服务模型。
  2. 选择训练语料: 上传训练文本,如果已经上传过,则可以直接选择之前上传的数据。
  3. 训练语言模型:点击训练,等待模型训练完成后,点击发布按钮。当模型状态变为发布成功,则模型可以应用。

测试流程如下:

  1. 填写测试信息:填写测试任务名称,测试的产品 ID(如果是全链路产品,还需要填写分支)和 APIKEY(目前仅支持通过 server 接入方式申请的 apikey)
  2. 选择测试模型:选择已经发布成功的语言模型。
  3. 选择测试语料:按照数据要求准备合适的数据集。
  4. 执行测试任务:点击按钮开始执行测试任务,数据集越大,测试时间越长。