IBM研究院发布自动为新闻播报生成字幕的研究,利用长短期记忆(LSTM)网络和声学神经网络模型,搭配辅助的语言模型,研究团队与澳洲一家语音和搜索科技公司Appen一同合作,在两项测试实验中,语音识别系统的错误率分别为6.5%和5.9%,而人类识别的错误率分别为3.6%和2.8%。
IBM指出,在对话式电话语音领域中,语音识别系统必须处理失真、来自多个不同电话信道的随性语音录音,还包含多种说话风格,且对话式语音还会有多个对话者重叠、中断、重新开始和重复确认的语音。
而新闻广播的语音识别任务更具挑战,因为还需要处理多人说话风格、多种背景噪音,和广泛的新闻领域内容,甚至是多种题材的混合内容,像是现场采访、电视节目的剪辑内容等。
为了能够成功地识别复杂的语音内容,为新闻播报内容生成字幕,IBM研究团队通过语音识别技术,创建了一套深度神经网络,该深度神经网络集成了长短期记忆网络和深度残差网络(residual network,ResNet),以ResNet为基础打造的声学模型是含有多达25层卷积层的深度卷积式网络,用1,300个小时、多种不同的新闻内容数据,来训练生成字幕的模型。