LG开源Auptimizer，用于优化AI模型的工具

 
尽管诸如Databricks的AutoML Toolkit，Salesforce的TransfogrifAI和IBM的Watson Studio AutoAI之类的开源工具激增，但大规模调整机器学习算法仍然是一个挑战。找到正确的超参数(算法中有助于控制整体模型性能的变量)通常涉及耗时的辅助任务，例如工作计划和跟踪参数及其效果。这就是LG高级AI部门的科学家开发出Auptimizer的原因，Auptimizer是一种开源超参数优化框架，旨在帮助AI模型调整和簿记。可从GitHub获得。
正如团队在描述其工作的论文中所解释的那样，Auptimizer简化了具有各种配置的大量模型的配置过程-具有可重复性。像所有超参数算法一样，它会在为超参数提出值之前初始化搜索空间和配置，然后训练目标模型并更新结果。然后，重复命题，训练和更新阶段，直到确定最佳值。
Auptimizer采用基于梯度的架构搜索，其中基于AI模型的控制器生成“子模型”的字符串，其子架构由字符串变量指定。控制器将接受训练的子模型的精度用作奖励信号，以较高的精度逐步将较高的概率分配给体系结构，从而改善其搜索。
Auptimizer只需要几行代码，就可以帮助用户逐步进行与实验相关的配置设置。它支持在不同的超参数算法和计算资源之间进行切换，而无需用户重写训练脚本，并且可以扩展到其他算法和资源而无需进行大的修改。
定义并初始化实验后，Auptimizer会连续检查可用资源和超参数建议并运行作业以识别最佳模型。工作负载完成后，它将启动一个功能，该功能可以异步记录和保存结果。对于必须将结果分数与特定输入超参数匹配的高级算法，Auptimizer会自动执行映射并将超参数值保存到文件中，以便可以将其还原以用于特定作业。同时，它跟踪辅助值，以便可以将其定制以用于其他用途，例如进一步的模型微调。
用户可以根据自己的喜好指定实验配置中要使用的资源，包括处理器，图形芯片，节点和Amazon Web Services EC2等公共云实例。 Auptimizer与现有的资源管理工具(如Boto 3)兼容，并且可以跟踪数据库中的可用资源和作业。此外，它提供了一种基本工具，可以可视化历史记录的结果。
该论文的共同作者说，未来Auptimizer将支持边缘设备的端到端模型构建，包括模型压缩和神经体系结构搜索。
“增效剂解决了……研究应用方面的关键缺失环节。它提供了一个通用平台，可以有效地开发新算法。更重要的是，Auptimizer降低了数据科学家将[超参数优化]应用于实践的障碍。”该团队写道。 “它的可扩展性帮助用户利用所有可用的计算资源来有效地训练他们的模型……这使从业人员可以轻而易举地使用高级算法快速探索其思想。”