苹果公司透露Siri新发音引擎的内部原理

苹果公司透露了他们通过深度学习让Siri的发音更加自然的内幕。

iPhone用户使用自然语言向Siri提问，Siri也通过语音回答问题。Siri可以使用21种语言回答问题，遍布全球36个国家。在2017年WWDC大会上，苹果宣布了iOS 11上的Siri将使用最新的文本语音引擎。2017年8月，苹果的机器学习期刊透露了他们是如何让Siri的发音更加自然的。

iPhone上的语音是通过拼接预先录制的人类语音来生成的。先录制几个小时的语音，再把它们拆分成单词，然后再把单词拆成最基本的元素：音素。在生成句子的时候，系统会选择合适的音素，再把它们拼接在一起。

为音素选择合适的录音是一件很有挑战性的事情。每一个音素都要与发音相匹配，也要与相邻的其他音素相匹配。旧系统只有几种录音，音素的来源很有限，所以听起来有点不自然。于是苹果决定使用深度学习来确定声音单元在句子中的各种属性。

每一台iOS设备都包含了一个小型的预录音素数据库。每一份数据都包含了音频属性：声音频谱的音高和音长。一个经过训练的“深度混合密度网络（deep mixture density network）”用于预测每一个音素在句子中的特征。苹果设计了一个成本函数来训练这个网络，着重考虑到两个方面的问题：如何让音素与发音相匹配以及如何让它与句子相融合。