Microsoft Research的Lin Xiao在NeurIPS上获得“时间测试”奖

 
本周在加拿大温哥华的NeurIPS上，超过1400项AI研究正在接受研究，研究它们的新颖方法或突破之处-但其中的一篇论文与所有其他论文不同。
微软研究院的林啸本周被授予“时间测试”奖的得主，该奖项授予人工智能研究，该奖项在过去10年中为AI领域做出了重要而持久的贡献。
召集了一个特别委员会来回顾10年前在NeurIPS上发表的论文，并将列表缩小到18篇对机器学习产生持久影响的论文，部分原因是这些论文在过去十年中获得了最多引用。迄今为止，肖的论文被其他研究人员引用了600多次。
NeurIPS的组织者周日宣布了Xiao的获奖作品，他在一个会议厅中详细介绍了此后的成果和取得的进展，会议的13,000名参与者中有1,000名。
肖在今天的舞台上说：“十年前，这次会议规模很小，但是我觉得它和一个相对年轻的研究员一样令人兴奋。” “当时几个非常令人兴奋的主题相互碰撞，为这项工作创造了动力。”
该论文的标题为“正则随机学习和在线优化的双重平均方法”，于2009年发表，提出了一种新的在线算法，称为正则双重平均或RDA。
RDA专注于随机梯度下降，它借鉴了Robbins和Monro于1951年发表的关于该主题的著作和“凸问题的初对次次梯度方法”。
肖说：“我想感谢尤里·内斯特罗夫(Yurii Nesterov)教授在本文中的影响和启发，以及我研究中的几乎所有内容。” “这项工作是他论文的简单延伸。”
去年的“时间测试”奖得主，由Facebook AI Research的Leon Bottou和Google AI的Olivier Bousquet共同完成，研究的重点是用于大型机器学习的随机梯度下降。
为了优化RDA模型的性能，Xiao的工作结合了规则正则化，鼓励通过在线学习来学习算法。稀疏正则化用于将模型中的某些权重设置为零，这是使随机梯度下降更容易理解的一种方式。
“我相信RDA的动机在今天仍然有效，因为一方面，我们知道在线算法由于其处理的数据量而处于机器学习的主要阶段的可能性。另一方面，我认为稀疏性对于使我们适应越来越大的模型至关重要。不管怎么说，稀疏往往是有效的部分。”
本周早些时候，NeurIPS会议组织者还为新的AI研究授予了最高荣誉，其中包括分布式学习方面的杰出论文，以及认为统一收敛可能无法解释深度学习的普遍性的论文获得了杰出新方向奖。可以在此NeurIPS Medium帖子中看到更多获得最高荣誉的研究成果。