PyTorch 1.3的量化和TPU支持带来速度提升

 
Facebook今天发布了其最新版本的深度学习库PyTorch，其中包含量化功能和Google Cloud TPU支持，可以更快地训练机器学习模型。
Facebook CTO Mike Schroepfer今天表示，对Tensor处理单元的支持始于使用单芯片训练模型的能力，后来将扩展到Cloud Pods。
PyTorch Mobile也是今天的新事物，用于从Android和iOS设备开始在边缘设备上部署ML; CryptTen，一种用于加密机器学习的工具; Captum，一种用于解释机器学习模型的工具。
该消息将于今天在旧金山The Midway的PyTorch开发者大会上宣布。
PyTorch 1.3现已上市，具有量化模型的能力，可以推论服务器或移动设备。量化是一种以降低的精度执行计算的方法。
PyTorch的最新版本将使用eager模式Python API支持8位整数的eager模式量化，并将允许采用多种方法进行训练后量化，例如动态量化和量化感知训练。
今年春天，Google的TensorFlow Lite 1.0还引入了量化功能。
PyTorch项目经理乔·斯皮萨克(Joe Spisak)在电话采访中告诉VentureBeat，1.3版还带有命名张量，这是一种编写更简洁代码的方法。
他说：“这的确是允许您编写更简洁的代码。” “实际上，我可以将这些代码嵌入代码中，而不必说，嘿，这个数字是高度，这个数字是宽度，等等，因此它使我说的代码更具可读性和简洁性，甚至更多。可维护的代码。”
今天的发行版与今年联邦学习的其他进步，例如TensorFlow开发者峰会于今年3月宣布的TensorFlow Federated和TensorFlow Privacy等。
Facebook一直在与谷歌的DeepMind研究科学家安德鲁·特拉斯克(Andrew Trask)一起研究隐私保护模型，后者于今年春季推出了Udacity课程，以指导开发人员如何使用联合学习和PySyft等项目，该项目是一个开放源代码项目，带有一个用于扩展加密深度学习的库PyTorch，TensorFlow和Keras。
Facebook还引入了两个新的开源框架：Detectron2，Detronron对象检测系统的新版本，以及通常用于翻译的语音识别扩展。
PyTorch 1.1于今年春季在F8开发者大会上发布，并支持TensorBoard。
首席技术官Mike Schroepfer在会议开始时表示，过去两年来，Facebook不再使用其前身Torch或Caffe2，而是努力使PyTorch成为深度学习的主要工具。这对于使研究人员和开发人员保持同一页面至关重要。
“这意味着它现已成为在Facebook上进行机器学习(和)深度学习的事实上的工具，不仅用于有机地进行的研究，而且还用于生产中，因此我们的绝大多数模型现在都在PyTorch上进行了训练，” Schroepfer在舞台上说道。 。 “而且在计算机视觉，NLP，语音，翻译等多个领域都是如此-所有这些系统现在都在使用PyTorch。”
他说，特斯拉，微软，优步和其他大公司也采用了PyTorch。
在过去的一年中，PyTorch深度学习库在AI从业者中越来越流行。现在有近1,200个开发人员为该开源项目做出了贡献，O’Reilly在6月发布的分析中发现，arXiv从1月到6月提及PyTorch的人数增加了194%，现在与TensorFlow的人数相当。