亚马逊科学家们正在探索成千上万的语音共性

Alexa更了解您的要求
亚马逊Alexa拥有成千上万的语音应用程序 – 亚马逊的本土技能 – 由第三方开发商提供。通常，构建所述技能需要提供客户请求的示例(例如，“我的通常订购”)以及这些请求应该映射的动作，这些动作用于训练处理生产中的实际请求的AI系统。毋庸置疑，这是劳动密集型的，这就是为什么亚马逊的科学家们正在探索在训练时汇集来自不同技能的类似请求的样本请求的技术。
在上周在佛罗伦萨举行的计算语言学协会会议上发表的一篇论文中，共同作者写道，附加数据通过在示例请求列表中“堵塞漏洞”来提高性能。根据两个不同的公共语料库和内部语料库进行评估，他们报告说，同时对多种技能的人工智能系统进行培训产生的效果要好于为每项技能单独培训。
正如研究人员指出的那样，多任务训练存在导致模型失去对任务特定结构的关注的风险。为了避免这种情况，他们强迫他们的模型学习所有传入数据的三种不同表示。第一个是一般表示，它编码所有任务的共享信息，而第二个是组级表示，它捕获给定技能类别中的话语之间的共性。同时，第三个也是最后一个表示是特定于任务的。
团队使用的AI系统具有编码器 – 解码器种类，这意味着他们学习了输入数据的固定大小表示(或编码)，并将其用作预测(解码)的基础。所有这些都包含用于单个任务和任务组的单独编码器模块，以及控制哪些编码器处理话语的“开关”。
总共有四种不同的架构，第一种是并行系统。它在组合结果表示并将它们传递给任务专用解码器之前，同时通过通用编码器，组级编码器和任务专用编码器传递输入话语。另外三个是串行的 – 换句话说，一组编码器的输出在转移到解码器之前传递到第二个库。
在训练阶段，特定于组的编码器学习如何最好地编码其组特征的话语，并且学习特定于技能的编码器来编码其技能特征的话语。结果，解码器 – 总是进行任务特定的预测 – 能够利用输入的三种不同表示，范围从一般到特定。
测试体系结构的所有任务都是联合意图分类(即，确定AI系统应该采取的行动)和插槽填充任务。在此上下文中，槽是意图作用的数据项。在训练期间，系统在准确分类时段和意图时会得到奖励，但是当他们的群体和宇宙级编码使得易于预测话语属于哪种技能时会受到惩罚。如果特定于任务的编码器和共享编码器被捕获不同的信息，则会进一步奖励它们。
在涉及三种不同数据集的实验中，两个连续模型在平均意图准确度和基线系统上的槽F1(其误差和假阳性率两者中)方面产生了显着更好的性能。在任何给定的测试中，多任务系统中的一个或另一个始终表现最佳，比基线提高了9%。