IBM的AI使用语法规则来捕捉美国英语的语言细微差别

 
独立和从属条款之间有什么区别?是“我”还是“我”? “影响”与“影响”有何不同呢?大量证据表明语法知识与写作能力之间存在很强的相关性，而新的研究暗示人工智能也可能如此。在一对预印本论文中，IBM的科学家详细测试了一个自然语言处理系统的测试，这个系统训练有关语法规则 – 他们说这些规则帮助它更快地学习并且表现更好。
该工作计划于6月在计算语言学协会北美分会上发布。
“语法有助于模型以类似人类的方式运行，”MIT-IBM Watson人工智能实验室的研究员，两篇论文的共同作者Miguel Ballesteros在一份声明中说。 “顺序模型似乎并不关心你是否用一个非语法短语完成一个句子。为什么?因为他们没有看到这种等级制度。“
IBM团队与来自麻省理工学院，哈佛大学，加州大学，卡内基梅隆大学和京都大学的科学家一起，设计了一套工具来消除语法感知AI模型的语言能力。正如共同作者所解释的那样，一个有问题的模型被训练成一个称为递归神经网络语法(RNNG)的句子结构，这个句子结构充满了基本的语法知识。
RNNG模型和具有很少甚至没有语法训练的类似模型被用句子包含好的，坏的或模糊的语法。 AI系统为每个单词分配概率，使得在语法上“关闭”句子中，低概率单词出现在高概率单词的位置。这些被用来衡量惊喜。
共同作者发现，使用一小部分数据，RNNG系统的性能始终优于使用很少甚至没有语法训练的系统，并且它可以理解“相当复杂”的规则。在一个例子中，它确定句子中的“那个”“我知道狮子在日出时吞噬”不恰当地出现而不是“什么”引入嵌入子句，建构语言学家称之为填充物之间的依赖关系(像“谁”或“什么”)和差距(缺少通常需要一个短语的短语)。
填充和间隙依赖性比您想象的更复杂。例如，“刑警在试用期间用枪击中了政客的警察”这句话，对应于填充“谁”的差距有点异常。从技术上讲，它应该在动词“镜头”之后出现，而不是“震惊”。这是重写的句子：“在审判期间，犯罪者用枪射击的警察震惊了陪审团。”
麻省理工学院脑与认知科学系和研究合着者Roger Levy教授说：“没有接受数千万字的训练，最先进的序列模型并不关心差距在哪里，也不在于那些句子。” 。 “人类会发现这非常奇怪，显然，语法丰富的模型也是如此。”
该团队声称他们的工作是迈向更准确的语言模型的有希望的一步，但他们承认它需要在更大的数据集上进行验证。他们把这留给未来的工作。