研究人员开发有效的分布式深度学习

 
一种新的算法使深度学习比传统方法更具协作性和通信效率。
陆军研究人员开发了算法，可促进设备之间的分布式，分散式和协作式学习功能，而无需将所有数据集中在中央服务器上进行学习。
美国陆军作战能力发展司令部陆军研究实验室的陆军科学家Jemin George博士说：“本地在单个智能设备上收集和存储的数据量呈指数级增长。” “许多研究工作以及企业都致力于应用机器学习从如此庞大的数据中提取价值，以提供数据驱动的见解，决策和预测。”
乔治说，但是，这些努力都没有解决与将机器学习应用于有争议，拥挤和受约束的战场有关的任何问题。当设备将深度学习算法用于决策时，由于学习时间和处理能力方面的沉重计算成本，这些战场约束变得更加明显。
“这项研究试图解决在军事环境中应用机器学习或深度学习的一些挑战，”为这项研究做出贡献的科学家Prudhvi Gurram博士说。 “威胁的早期迹象和警告增强了态势感知，并有助于陆军发展和适应如何战胜对抗性威胁。”
研究人员在纽约举行的第34届人工智能促进协会会议上发表了他们的发现。该论文的预印本在线。
在更早的研究中(请参阅下面的相关链接)，研究人员证明了分布式深度学习算法可以产生与典型的集中式学习算法相同的性能，而无需在单个中心位置上聚合数据，同时随着时间的流逝线性地减少了学习时间。分布式学习中涉及的设备或代理的数量。
乔治说：“分布式学习算法通常需要学习过程中涉及的代理或设备之间进行多轮通信，才能与网络的其余部分共享其当前模型。” “这提出了一些沟通挑战。”
陆军研究人员开发了一种新技术，可以在不牺牲学习率或性能准确性的情况下，将通讯开销显着降低，在某些情况下最多可以降低70%。
研究人员开发了一种触发机制，该机制允许个体代理仅在自上次发送以来发生重大变化的情况下才与邻居进行通信。乔治说，尽管这大大减少了代理之间的通信交互，但它不会影响整体学习率或最终学习模型的性能准确性。
陆军研究人员正在研究如何将这项研究应用于战场物联网，将量化和压缩的通信方案结合到当前算法中，以进一步减少通信开销。
陆军的现代化重点包括下一代计算机网络(请参阅下面的相关链接)，这使陆军能够向战士提供经过领导者认可的技术能力，以使陆军获得最大的投资回报。
乔治说，未来的工作将使用美国陆军AI创新研究所提供的计算资源，在较大的，与军事相关的数据集上评估算法的性能，并且该算法有望在边缘设备上运行。