谷歌AI主管Dean认为MLPerf基准在机器学习中的发展

 
Google AI负责人Jeff Dean表示，如果要发展计算机系统以处理更大的机器学习模型，那么比较这些系统有效性的标准方法至关重要。他说，但是这种测量系统本身必须随着时间而发展。
迪恩上周在接受ZDNet采访时说：“我认为MLPerf基准套件实际上将非常有效。”是指由商业和学术组织组成的联盟MLPerf，该联盟成立于过去几年。 MLPerf小组制定了测试套件，以衡量不同系统在各种AI任务上的性能，例如每秒图像“卷积”的数量。
Google和Nvidia以及其他公司经常在测试中大肆宣传其最新计算机系统的性能，例如学生比较成绩。
迪恩上周在旧金山举行的国际固态电路会议的间隙向ZDNet讲话，他在会议上作了主题演讲。他的主题之一是出现了用于AI的新型芯片。他告诉ZDNet，MLPerf可以帮助解决芯片扩散问题，从而加速机器学习的某些方面。
迪恩说：“很有趣的是，从哪些方面来说，它们通常对很多事情有用，或者它们非常专业化，并加速了某种事情，但在其他方面却做得不好，”各种芯片上的努力。
但是，MLPerf受到批评。芯片行业的一些人称MLPerf偏爱大型公司，例如Google，声称大型技术公司设计的机器学习结果在基准上看起来不错。这就提出了一个问题，即像MLPerf这样的基准是否实际上捕获了现实世界中相关的指标。
此外：Google尝试使用AI设计内部计算机芯片
去年秋天，人工智能初创公司Cerebras Systems在接受ZDNet采访时的言论暗示了这种怀疑态度。与其他一些AI芯片初创公司不同，Cerebras拒绝为其“ CS-1”系统提供MLPerf结果，称测试与实际工作负载无关。
当提出怀疑论者的论据时，Dean回答说，基准最初并不会是完美的，并且必须不断发展。
Dean告诉ZDNet：“我的意思是，任何基准套件都会出现问题，但我认为拥有行业标准的基准套件将是一件非常有用的事情。”
迪恩说，谷歌，英伟达，英特尔和其他财团成员“正在努力使它们尽可能具有代表性。”

 
他说，一些基准测试“比我们内部进行的一些实际工作量要小一些，但是需要调整它们的大小，以便可以在合理的时间内在小型系统上运行，即使您希望他们跨越”非常不同的系统大小。
迪恩说，要在一个以1瓦功率运行的嵌入式系统上一直达到1,024个芯片的“荚”，很难获得具有代表性的基准。
他说，原因之一是因为大规模并行系统可以很好地改善某些运算(例如矩阵数学)，但同时也增加了芯片间的通信开销，因此性能指标开始变得截然不同。
迪恩说：“但是我认为，随着时间的流逝，您希望看到比现有基准更大的基准。” “我认为MLPerf社区在相对快速发展的环境中做得相对不错。”
迪安说，保持平衡很重要。 “随着时间的推移，您仍然希望一套基准能够保持一定的稳定性，以便您可以进行比较。”
MLPerf集团专门根据1980年代开发的上一代芯片基准(称为“ SPEC”，即“标准性能评估公司”)对基准评估进行建模。
迪恩(Dean)看到了这一传统在新时代的延续。他对ZDNet表示：“我认为这是近十年来的SPECint和SPECfp，您可以在其中突然评估所有事物的公平竞争环境，并且可以拥有一套具有代表性的机器学习工作负载，人们关心的，并且不同的供应商可以集中精力。” SPEC的先例本身就是有争议的，因为人们多年来一直在争论这些措施是否准确，还是仅仅针对像英特尔这样的芯片公司进行按市场营销的工程。
但是Dean表示有信心MLPerf将提供一些有用的定性见解以及定量评级。
迪恩说：“不仅要加速这些基准测试，而且它们为使这些基准测试性能良好所做的工作通常对类似类型的处理器也很有用。”